时序数据库领域趋势
聊存储,我喜欢从数据的角度切入。我们处在一个大数据时代,数据的规模是惊人的,那么大数据规模到底是怎样的呢?
根据某研究院发布的统计数据,近年,随着人工智能、5G、AIoT等技术的推动,数据量正在地增加。2018年数据总量为33ZB,在2019年约达到45ZB。按照这样的增长趋势,到2025年,全年将会有175ZB的数据产生。
在希捷的首页,有一句话,这里分享给大家:
数据领域将从2019年的45ZB增长到2025年的175ZB,数据的近30%将需要实时处理,您的企业是否已经做好准备?同样带着这个问题,我们看看实时数据库领域是否做好了准备?
分布式时序数据库被这个时代需要
在国外的***行业,时序数据库已经应用了很长一段时间,华尔街上的很多公司在 2000 年之前就开始使用时序数据库来解决***行业的问题了。国内***领域,特别是券商、、公募等行业,差不多近三年在 DolphinDB 的带动下才开始使用时序数据库。
在物联网行业,范围内使用时序数据库的时间还不到 10 年,国内差不多有 3 到 5 年的时间,基本都停留在阶段:通过大量使用单机版时序数据库完成数据采集、数据查询、监控等简单工作。周小华预计,在未来 5 年内,时序数据库会迎来爆发性增长。
在物联网领域,随着数据量的式增长,越来越多的场景每秒超过 50 万测点甚至 1000 万测点。对于这个量级的数据,单机版时序数据库已经无法满足业务要求了。与此同时,近几年,分布式时序数据库技术越来越成熟和完善,已经进入到大规模落地应用阶段。虽然物联网领域对于时序数据库的应用还处于比较浅的阶段,但是企业逐渐意识到数据的价值,未来会有越来越多的企业希望利用时序数据库挖掘出更多有价值的信息。
在***领域,由于使用时序数据库的批头部客户的作用,大部分***机构会很快意识到采用高性能时序数据库所带来的竞争优势。5 年后,时序数据库会在***机构成为标配。
当然,任何一项技术的成熟都离不开资本的进入。周小华表示,***机构今年对时序数据库赛道的热情高涨。据周小华介绍,***机构对时序数据库的调研,主要关注的是短期内能否在***领域实现快速增长,以及中长期时序数据库在物联网的应用场景的变现能力。
至关重要的低成本数据存储
在物联网时代,数据量日益增大,谁能真正将低成本数据存储做好,才有希望突出重围。
在设计思路上,DolphinDB 针对这个问题进行了特别优化。周小华表示,除了列式存储的设计思路之外,DolphinDB 还增加了对多值模型的支持。多值模型可以降低存储成本,大大缩小数据冗余。
支持多层数据介质,不对客户的数据存储介质进行要求,企业可以按照自己的需求进行选择。为了降低数据库延迟,提升吞吐量,DolphinDB 多是在数据库日志和元素程度上使用部分 SSD。但这部分非常小,一个服务器配一个 256G 的磁盘就足够。具体的数据存储都可以使用 HDD 盘,这样对整个用户的承租成本可以降到低。
版权所有©2025 产品网