[置顶]京东城市时空数据引擎JUST亮相中国数据库技术大会(附PPT链接)



受疫情影响,第十一届中国数据库技术大会(DTCC2020)从原定的5月份,推迟到了8月份,再推迟到了12月份。尽管如此,依然没有减退国人对数据库技术的热情。2020年12月21日-12月23日,北京国际会议中心人头攒动,各大厂商争奇斗艳。在NoSQL技术专场,京东智能城市研究院的李瑞远博士给大家带来了《京东城市时空数据引擎JUST的架构设计与应用实践》的主题报告,受到了大家的广泛关注。以下为李瑞远...

JUST技术:空间连接运算与空间索引



一、空间连接定义随着全球定位系统和移动互联设备的普及,海量的空间数据也随之产生。空间连接(Spatial Join)运算是一类最常用的空间数据分析算子,具有广泛的应用场景。例如统计地铁站周围500米的POI,帮助店主合理选择商铺选址;从同一个数据集中分析空间相邻的同伴关系,辅助警方侦察;查询河流周围的居民区和农田,在汛期排除洪水隐患;查找去过疫区的人群,方便疫情防控等。下面给出空间连接的定义:给定...

JUST技术:基于HMM的实时地图匹配



随着城市规模的不断扩大和便民业务的发展,行车导航、共享汽车和物流派送等应用已经深入人们日常生活之中。这些应用都不可避免地需要使用GPS、北斗等定位系统,进而产生了大量的轨迹数据。然而,普通民用GPS定位系统上传的位置数据会由于许多缘故发生与物体的实际地理位置不同的现象,产生了米级别的误差,一般在10米以内。此外,在数据传输、存储和耗电的条件限制下,导致轨迹点采样频率不宜过高。因此,以上因素导致采集...

AAAI 2021论文:利用深度元学习对城市销量进行预测



对于线上和线下的零售行业,销量预测都是一项至关重要的任务,它可以帮助企业更好的预备库存以及在各个仓库之间分配商品。特别是在大型购物节期间,强劲的促销活动将极大地促进消费。然而,可供参考的历史数据却非常稀缺。如何同时对城市的不同区域和不同时间段的销量进行预测,是一个非常具有挑战的问题。在2020年12月收录的AAAI 2021(CCF-A类)上,京东城市被收录了一篇名为《Robust Spatio-...

JUST技术:基于无参生成模型的轨迹生成



在大数据时代,位置数据成为各方都亟待挖掘的数据宝藏,比如在城市交通基建规划、商业选址、线下广告等场景中,都是以位置数据为重要基础。但在此过程中,隐私问题一直未得到有效解决,如何在保护原始数据不被泄露同时,更好地服务于各种城市应用呢?本文将介绍南洋理工大学与SAP联合在IJCAI 2018上发表的论文《A Non-Parametric Generative Model for Human Traje...

JUST技术:从空间关系到空间连接,JUST提升信息挖掘意义



现实世界中存在大量的与空间相关的数据,如停车场位置、河流、轨迹等。这些空间数据之间存在很多空间关系,如相离、相交、包含等。在实际工作中,这些空间数据经常会使用空间连接操作把两个空间数据集通过空间关系连接起来。如根据两个数据集行政区域和poi,统计出每一个行政区中包含的poi类别为加油站的数量。本次技术分享将空间数据中常用的空间关系和空间连接算法。首先将介绍空间数据的基本概念,再详细介绍OGC标准定...

JUST技术:当我停留时我在干什么?



随着定位技术的不断普及,嵌入在手机和PDA设备内的GPS、北斗等位置传感器周期性地记录移动对象的位置,从而产生了海量的轨迹数据。用户为分享行程可能主动记录自己的轨迹,物流派送车、出租车、共享私家车等由于运营监管的需要可能被动地记录轨迹位置信息。这些轨迹数据背后的想象空间极大。利用轨迹数据,我们可以用来估计全城的车流量、通行时间、补全现有地图等等。而为实现这些应用,我们通常会对轨迹数据进行预处理,剔...

JUST技术:分布式时序相似查询初探



时序数据,即随时间变化的数据,在人们的日常生活中无处不在。过去的近十年来,随着电子监控和智能穿戴等设备的普及,更是产生了海量的时序数据。例如,经过多年的发展,火力发电行业的数字化程度已经达到了很高的水平,以一台60万千瓦的中型火电机组为例,其内置的上万个传感器,每秒可产生数万条实时监控数据。其中,时序相似查询,即查询出与给定序列q最相似的k个序列,可用于推荐、聚类和异常检测等上层应用。在小规模数据...

JUST技术:基于深度学习Seq2Seq框架的技术总结



随着互联网经济的普及定位技术的快速发展,人们在日常生活中产生了大量的轨迹数据,例如出租车的GPS数据、快递配送员PDA产生的轨迹数据等。轨迹数据是一种典型的时空数据(Spatial-Temporal Data),是按照时间顺序索引且空间变化的一系列数据点。在时空数据的数据挖掘中,我们也会大量借鉴在自然语言处理等时序数据中发展很成熟的技术。本次分享为您带来的是Seq2Seq(Sequence to ...

JUST技术:JUST高效时空索引揭秘及使用指南



一、问题背景城市中超过80%的数据都与时空有关,如加油站点、出租车轨迹、交通路况等。这些数据多为半结构化和非结构化数据,并且需要管理的数据量巨大。传统的时空数据库管理海量数据时会出现性能严重下降的情况,如带有PostGIS插件的PostgresSQL。HBase等具有高可扩展性的分布式数据库又不能直接管理时空数据。为此,GeoMesa提供了大量的时空索引工具管理时空数据。但是,它支持的时空类型不够...