时序数据库技术/问题
趋势方面了解完之后,我们细致地看看现在的时序数据库有哪些特点、如何分类、有哪些技术。首先,我们从存储架构角度,看看时序数据库的分类情况。类就是是基于关系数据库的时序数据库,比如timescale。第二类就是基于KV的时序数据库,比如OpenTSDB。第三类就是专门面向时序数据场景的原生时序数据库,比如InfluxDB,Io和Tengine等。
时序数据库趋势的相关介绍
数据会更多在边缘端,尤其是消费的边缘端产生。未来智能可穿戴设备、智能硬件、工厂智能设备、物联网设备、汽车电池及传感器等将是未来数据的主要来源。这些数据将在边缘端被采集,向中心做传送,在中心做整合、存储、计算、监控,这将是未来发展空间很大的场景,也是时序数据库***针对的场景。
时序数据库关注的技术点在哪里?
高压缩率。提供高压缩率有两个方面的考虑,一方面是节省成本,这很容易理解,将1T数据压缩到100G就可以减少900G的硬盘开销,这对业务来说是有很大的的。另一个方面是压缩后的数据可以更容易保证存储到内存中,比如近3小时的数据是1T,我现在只有100G的内存,如果不压缩,就会有900G的数据要被放到硬盘上,这样的话查询开销会非常之大,而使用压缩会将这1T数据都放入内存,查询性能会非常之好。
多维度查询能力。时序数据通常会有多个维度的标签来刻画一条数据,就是上文中提到的维度列。如何根据随机几个维度进行快速查询就是必须要解决的一个问题,这个问题通常需要考虑位图索引或者倒排索引技术。
数据序列化阶段2
阶段2:采用编程语言内置的序列化机制,比如J***a Serialization,Python pickle等。这种方式解决了阶段1面临的大部分问题,但随着使用逐步深入,我们发现这种方式将数据表示方式跟某种特定语言绑定在一起,很难做到跨语言数据的写入和读取。
阶段3:为了解决阶段2面临的问题,我们决定使用应用范围广、跨语言的数据表示格式,比如jason和xml。但使用一段时间后,你会发现这种方式存在严重的性能问题,解析速度太慢,同时数据存储冗余较大,比如json会重复存储每个属性的名称等。
版权所有©2025 产品网