08
04/2025

[置顶]软件学报 | 浮点时序数据压缩综述（附论文、源码）

图片

物联网技术的发展产生了海量的浮点时序数据, 这给存储和传输带来了巨大挑战。为此, 浮点时序数据压缩变得至关重要。其根据数据可逆性可以分为有损和无损压缩。此外，实时性应用的需求催生了流式压缩算法。先前的时序压缩综述论文存在梳理不全面、脉络不清晰、分类标准单一、未归纳较新的具有代表性算法等问题。本次为大家带来重庆大学Start Lab在软件学报最新收录的论文《浮点时序数据压缩综述》。一. 相关背景时序...

分类： 数据库 | 浏览 (488) | 评论 (0) | 查看全文

07
04/2025

[置顶]SIGMOD 2025 | Serf: 流式误差有界浮点压缩（附论文和源码）

图片

在物联网场景中，大量的浮点时间序列数据以流的方式生成，并在有限的带宽内传输，用于实时分析。为了提高效率，在传输前可以对数据进行压缩。但现有的浮点压缩方法要么是延迟较长的批处理压缩，要么是允许一定误差情况下压缩率差强人意的流式无损压缩。这两类算法都无法同时适应实时性要求和高压缩率要求。本次为大家带来重庆大学时空实验室和京东智能城市研究院联手在数据库领域顶级会议SIGMOD 2025发表的文章《Ser...

分类： 数据库 | 浏览 (138) | 评论 (0) | 查看全文

08
05/2023

[置顶]无损时序压缩Elf+：压缩率再提升10%，压缩时间减少20%（附源码）



早期推文中介绍了Elf：基于擦除的浮点压缩算法，对于双精度浮点数的压缩有着很高的效率，尤其在压缩率方面相比Gorilla和Chimp128分别提高了50%和13%。观察到时间序列中的值通常有着相似的有效值位数，因此Elf算法有进一步的优化空间。本次为大家带来重庆大学时空实验室基于VLDB 2023工作《Elf: Erasing-based Lossless Floating-Point Compr...

分类： 时空数据 | 浏览 (35630) | 评论 (0) | 查看全文

28
04/2023

[置顶]VLDB 2023 | 基于擦除的浮点无损压缩（附论文和源码）



大量浮点时间序列数据正以前所未有的高速率生成。一种高效、紧凑、无损的时间序列数据压缩方法对海量数据的应用场景至关重要。现有的大多数浮点无损压缩方法是基于异或操作，但它们没有充分利用尾随零，这通常会导致压缩率不尽如人意。本次为大家带来重庆大学START团队在数据库领域顶级会议VLDB 2023最新收录的论文《Elf: Erasing-based Lossless Floating-Point Com...

分类： 时空数据 | 浏览 (2264) | 评论 (1) | 查看全文

30
12/2020

[置顶]京东城市时空数据引擎JUST亮相中国数据库技术大会（附PPT链接）



受疫情影响，第十一届中国数据库技术大会（DTCC2020）从原定的5月份，推迟到了8月份，再推迟到了12月份。尽管如此，依然没有减退国人对数据库技术的热情。2020年12月21日-12月23日，北京国际会议中心人头攒动，各大厂商争奇斗艳。在NoSQL技术专场，京东智能城市研究院的李瑞远博士给大家带来了《京东城市时空数据引擎JUST的架构设计与应用实践》的主题报告，受到了大家的广泛关注。以下为李瑞远...

分类： 时空数据 | 浏览 (46822) | 评论 (0) | 查看全文

05
08/2023

流批一体化



开篇导语流批一体化(Stream-batch Integration)是一项重要的数据处理技术，在多个领域中具有广泛的应用潜力。尽管现有的流处理和批处理方法能够解决各自领域的问题，但是单独使用它们难以满足全面、实时的数据分析需求，同时还会带来开发、运维成本高昂的问题。流批一体化技术通过将实时数据流和批处理数据相结合，不仅能够实现更加全面、准确和实时的数据分析能力，从而为企业提供更加深入的洞察和决策...

分类： 云计算, 分布式 | 浏览 (1730) | 评论 (0) | 查看全文

22
05/2023

数据宝藏与精灵法师：探秘Elf擦除魔法的奇幻故事

图片

在数字领域的奇幻王国中，大家视数据为宝藏。作为奇幻王国的国王，在他的宝库中，自然是有着无数的数据宝藏。这么多的数据宝藏，却让国王发难了。因为宝库有限，放不下这么多数据宝藏。因此，国王广招天下的精灵法师，希望借助他们的魔法，能在不损伤这些数据宝藏的前提下，缩小数据宝藏占的空间，从而让宝库中能装下更多的数据宝藏。在广招的精灵法师团队中，有一位年轻而聪明的精灵法师名叫艾尔弗，他以一种神奇的擦除魔法在精灵...

分类： 时空数据 | 浏览 (1295) | 评论 (0) | 查看全文

15
05/2023

数据压缩新利器！小精灵ELF助你高效存储与传输

图片

存储空间不够用？网络传输太慢？想必每个人在生活中都会遇到这些问题。看着爆满的硬盘、焦急的等待数据的接受，更新设备？不是每个人都能承担这个成本。那不如尝试一下无损压缩？为了减少存储空间的占用，提高传输效率，START团队提出了一个高效的流式浮点类型数据无损压缩算法——“小精灵ELF”。利用小精灵平均可以将原本100GB的数据可以压缩到33GB。 ELF特点介绍 小精灵ELF是一种...

分类： 算法, 时空数据 | 浏览 (1362) | 评论 (0) | 查看全文

28
12/2022

idea通过git克隆github连接失败

遇到的错误如题所示。可能是因为墙的原因。本人有一个shadowsocks，可以考虑让git走shadowsocks代理。具体代码如下：git config --global http.proxy   git config --global https.proxy http://127.0.0.1:1080其...

分类： git | 浏览 (1736) | 评论 (0) | 查看全文

26
06/2022

基于多智能体强化学习的出租车调度框架



网约车平台的繁荣使得人们比以往能更加“智慧”的出行。平台能实时掌握全局的车辆与乘客的供需关系，从而在车辆与乘客之间实现更加有效的匹配。但车辆与乘客还是会经常遭遇“车辆不停寻找乘客而乘客不停寻找车辆”的困境。产生这种现象的根本原因在于车辆供应与乘客需求的时空匹配程度不够。因此，现有很多研究都着力于调度空闲的车辆来提高两者之间的时空匹配程度。其中，基于强化学习的方法凭借其能够捕捉长期的车辆与乘客供需分...

分类： 时空数据 | 浏览 (2430) | 评论 (0) | 查看全文