05
08/2023

流批一体化



开篇导语流批一体化(Stream-batch Integration)是一项重要的数据处理技术，在多个领域中具有广泛的应用潜力。尽管现有的流处理和批处理方法能够解决各自领域的问题，但是单独使用它们难以满足全面、实时的数据分析需求，同时还会带来开发、运维成本高昂的问题。流批一体化技术通过将实时数据流和批处理数据相结合，不仅能够实现更加全面、准确和实时的数据分析能力，从而为企业提供更加深入的洞察和决策...

分类： 分布式 | 浏览 (1170) | 评论 (0) | 查看全文

31
03/2022

ICDE 2022 | Apache ShardingSphere: 一个功能全面和可插拔的数据分片平台(附论文)



相信大家在网上抢购时遇到过网页无法正常访问的情况，一部分原因可能是数据库无法很好地应对不断增加的并发访问。如何有效地解决数据库现有的这些缺陷呢？数据分片是一个可选的方案。本篇文章将为大家解读由重庆大学和 SphereEx 实验室、京东城市合作的、发表在 CCF A 类数据库顶级会议 ICDE 2022 上的论文《Apache ShardingSphere：A Holistic and Plugga...

分类： 分布式 | 浏览 (1231) | 评论 (0) | 查看全文

13
09/2021

JUST亮相研究生“地理大数据与空间数据智能”暑期学校（视频+PPT）



JUST于2021年8月20日 15:30-17:00通过线上直播方式，在2021年研究生“地理大数据与空间智能”暑期学校分享JUST最新架构及落地案例，全程干货满满！以下是直播的全程录屏，欢迎大家收看！关注公众号，回复“JSSummer2021”，下载PPT

分类： 分布式 | 浏览 (1877) | 评论 (0) | 查看全文

10
03/2021

JUST技术：分布式一致性协议概念及Raft协议简介



分布式系统通常由异步网络连接的多个节点构成，每个节点的计算和存储相互独立。分布式一致性指多个节点对某一变量的取值达成一致，一旦达成一致，则变量的本次取值被确定。本文将简单介绍一致性的一些基本概念，以及分布式一致性协议Raft。一、基本概念1.1 副本与数据一致性在分布式系统中，为了保证数据的高可用性，通常会维持数据的多个副本（Replica），这些副本往往会放置在不同的物理机器上。然而，在数据有多...

分类： 分布式 | 浏览 (1934) | 评论 (0) | 查看全文

18
11/2020

JUST技术：JUST高效时空索引揭秘及使用指南



一、问题背景城市中超过80%的数据都与时空有关，如加油站点、出租车轨迹、交通路况等。这些数据多为半结构化和非结构化数据，并且需要管理的数据量巨大。传统的时空数据库管理海量数据时会出现性能严重下降的情况，如带有PostGIS插件的PostgresSQL。HBase等具有高可扩展性的分布式数据库又不能直接管理时空数据。为此，GeoMesa提供了大量的时空索引工具管理时空数据。但是，它支持的时空类型不够...

分类： 分布式 | 浏览 (5049) | 评论 (0) | 查看全文

09
11/2020

JUST技术：基于轨迹数据的人口流向分析技术



一、问题背景随着社会的发展、交通方式的高度便利，人口流动的规模越来越庞大，与此同时，人口迁移、人口流向分析等受到高度关注。人口迁移是一种地理现象，更与社会经济发展紧密相连。人口迁移会同时影响迁入地和迁出地的人口结构，进而影响自然环境，推动或抑制社会经济的发展。另一方面，一个地区的经济发展水平，生活环境等因素会推动人口的迁入或迁出。所以，人口迁移空间分布和时空动态演进的相关研究变得越来越重要。对人口...

分类： 分布式 | 浏览 (3754) | 评论 (0) | 查看全文

28
10/2020

JUST技术：基于时空孪生神经网络的轨迹识别



轨迹识别问题旨在验证传入的轨迹是否是由所要求的人员产生， 即给定一组单独的人员历史轨迹（例如行人，出租车司机）以及由特定人员生成的一组新轨迹，判定两组轨迹是否由同一个人员生成。这个问题在许多实际应用中都很重要，例如出租车驾驶人员身份认证、汽车保险公司风险分析以及危险驾驶识别等。轨迹识别的现有工作除了需要轨迹数据之外，还需要其他来源的数据，如传感器、摄像头等，但这些数据无法普遍获得且成本较高。此外，...

分类： 分布式 | 浏览 (3495) | 评论 (0) | 查看全文

24
10/2020

JUST技术：ClickHouse实现时序数据管理



以下文章来源于JUST团队-王棚、李瑞远，转载请获得授权本次技术分享为您带来的是，JUST（https://just.urban-computing.cn/）是如何使用ClickHouse实现时序数据管理和挖掘的。ClickHouse是一个高效的开源联机分析列式数据库管理系统，由俄罗斯IT公司Yandex开发的，并于2016年6月宣布开源。一、时序数据简介时序数据全称是时间序列（TimeSerie...

分类： 分布式 | 浏览 (2872) | 评论 (0) | 查看全文

21
09/2020

JUST技术：如何通过轨迹相似性度量方法，发现新冠易感人群



2020年初，一场突如其来的新冠疫情，使得公共卫生安全问题受到了全社会的广泛关注。与此同时，如何及时掌握人与人之间的病毒传播路径，及时发现确诊人员的密切接触者，成为了各地政府疫情防控最迫切的需求。JUST基于大规模轨迹数据，针对易感人群难以发现的问题，开发并提供了关联人群查询功能，通过对轨迹进行匹配挖掘，能够快速找出与确诊人员行动轨迹在时空维度有过“接触”的人群。其中，实现该功能的很重要的一项工作...

分类： 分布式 | 浏览 (5823) | 评论 (0) | 查看全文

16
09/2020

JUST黑科技：助力园区资源优化部署|UbiComp2020



园区内资源的智能化部署有助于降低部署成本，提高资源使用率。如何部署有限的资源更好地服务人群，是普适计算领域研究的问题之一。普适计算领域顶级会议UbiComp2020（2020年9月12日至17日）近日在线上召开。在刚结束的Location and Human Mobility分会场上，京东城市分享了被会议收录的论文《Dynamic Public Resource Allocation based ...

分类： 分布式 | 浏览 (1899) | 评论 (0) | 查看全文