08
05/2023

[置顶]无损时序压缩Elf+：压缩率再提升10%，压缩时间减少20%（附源码）



早期推文中介绍了Elf：基于擦除的浮点压缩算法，对于双精度浮点数的压缩有着很高的效率，尤其在压缩率方面相比Gorilla和Chimp128分别提高了50%和13%。观察到时间序列中的值通常有着相似的有效值位数，因此Elf算法有进一步的优化空间。本次为大家带来重庆大学时空实验室基于VLDB 2023工作《Elf: Erasing-based Lossless Floating-Point Compr...

分类： 时空数据 | 浏览 (34041) | 评论 (0) | 查看全文

28
04/2023

[置顶]VLDB 2023 | 基于擦除的浮点无损压缩（附论文和源码）



大量浮点时间序列数据正以前所未有的高速率生成。一种高效、紧凑、无损的时间序列数据压缩方法对海量数据的应用场景至关重要。现有的大多数浮点无损压缩方法是基于异或操作，但它们没有充分利用尾随零，这通常会导致压缩率不尽如人意。本次为大家带来重庆大学START团队在数据库领域顶级会议VLDB 2023最新收录的论文《Elf: Erasing-based Lossless Floating-Point Com...

分类： 时空数据 | 浏览 (2176) | 评论 (1) | 查看全文

30
12/2020

[置顶]京东城市时空数据引擎JUST亮相中国数据库技术大会（附PPT链接）



受疫情影响，第十一届中国数据库技术大会（DTCC2020）从原定的5月份，推迟到了8月份，再推迟到了12月份。尽管如此，依然没有减退国人对数据库技术的热情。2020年12月21日-12月23日，北京国际会议中心人头攒动，各大厂商争奇斗艳。在NoSQL技术专场，京东智能城市研究院的李瑞远博士给大家带来了《京东城市时空数据引擎JUST的架构设计与应用实践》的主题报告，受到了大家的广泛关注。以下为李瑞远...

分类： 时空数据 | 浏览 (46585) | 评论 (0) | 查看全文

05
08/2023

流批一体化



开篇导语流批一体化(Stream-batch Integration)是一项重要的数据处理技术，在多个领域中具有广泛的应用潜力。尽管现有的流处理和批处理方法能够解决各自领域的问题，但是单独使用它们难以满足全面、实时的数据分析需求，同时还会带来开发、运维成本高昂的问题。流批一体化技术通过将实时数据流和批处理数据相结合，不仅能够实现更加全面、准确和实时的数据分析能力，从而为企业提供更加深入的洞察和决策...

分类： 云计算, 分布式 | 浏览 (1661) | 评论 (0) | 查看全文

22
05/2023

数据宝藏与精灵法师：探秘Elf擦除魔法的奇幻故事

图片

在数字领域的奇幻王国中，大家视数据为宝藏。作为奇幻王国的国王，在他的宝库中，自然是有着无数的数据宝藏。这么多的数据宝藏，却让国王发难了。因为宝库有限，放不下这么多数据宝藏。因此，国王广招天下的精灵法师，希望借助他们的魔法，能在不损伤这些数据宝藏的前提下，缩小数据宝藏占的空间，从而让宝库中能装下更多的数据宝藏。在广招的精灵法师团队中，有一位年轻而聪明的精灵法师名叫艾尔弗，他以一种神奇的擦除魔法在精灵...

分类： 时空数据 | 浏览 (1252) | 评论 (0) | 查看全文

15
05/2023

数据压缩新利器！小精灵ELF助你高效存储与传输

图片

存储空间不够用？网络传输太慢？想必每个人在生活中都会遇到这些问题。看着爆满的硬盘、焦急的等待数据的接受，更新设备？不是每个人都能承担这个成本。那不如尝试一下无损压缩？为了减少存储空间的占用，提高传输效率，START团队提出了一个高效的流式浮点类型数据无损压缩算法——“小精灵ELF”。利用小精灵平均可以将原本100GB的数据可以压缩到33GB。 ELF特点介绍 小精灵ELF是一种...

分类： 算法, 时空数据 | 浏览 (1295) | 评论 (0) | 查看全文

28
12/2022

idea通过git克隆github连接失败

遇到的错误如题所示。可能是因为墙的原因。本人有一个shadowsocks，可以考虑让git走shadowsocks代理。具体代码如下：git config --global http.proxy   git config --global https.proxy http://127.0.0.1:1080其...

分类： git | 浏览 (1659) | 评论 (0) | 查看全文

26
06/2022

基于多智能体强化学习的出租车调度框架



网约车平台的繁荣使得人们比以往能更加“智慧”的出行。平台能实时掌握全局的车辆与乘客的供需关系，从而在车辆与乘客之间实现更加有效的匹配。但车辆与乘客还是会经常遭遇“车辆不停寻找乘客而乘客不停寻找车辆”的困境。产生这种现象的根本原因在于车辆供应与乘客需求的时空匹配程度不够。因此，现有很多研究都着力于调度空闲的车辆来提高两者之间的时空匹配程度。其中，基于强化学习的方法凭借其能够捕捉长期的车辆与乘客供需分...

分类： 时空数据 | 浏览 (2345) | 评论 (0) | 查看全文

26
05/2022

ICDE 2021: Apache ShardingSphere论文视频讲解（附ppt）



Apache ShardingSphere是Apache第一个面向数据分片的顶级开源项目。5 月 7 日下午 14:00，重庆大学副教授李瑞远老师受邀参加SphereEx第二期Meet-up,为大家带来《剖析 ShardingSphere 数据分片优势性能——数据库顶级会议论文 ICDE 2022 解读》分享。他为大家解读前段时间被国际顶级数据库会议 ICDE 收录的 “Apache Shardi...

分类： 数据库 | 浏览 (1764) | 评论 (0) | 查看全文

24
05/2022

ICDE 2022｜Apache ShardingSphere英文视频解读及现场问答

5 月 9 日-12 日，ICDE 国际数据工程会议于线上正式举行。会议期间，SphereEx CTO 潘娟现场解读收录论文《Apache ShardingSphere：A Holistic and Pluggable Platform for Data Sharding》。作为大数据领域顶级学术会议之一及 IEEE（电气电子工程师学会）的旗舰会议，ICDE、SIGMOD 以及 VLDB 并称数据...

分类： 数据库 | 浏览 (1759) | 评论 (0) | 查看全文