时序数据库
时序数据库全称为时间序列数据库,主要用于指处理带时间标签(按照时间的顺序变化,即时间序列化)的数据。时序数据库普遍存在于电力、化工行业等行业以及IT基础设施、运维监控系统和物联网等各类型实时监测中,主要负责解决下面几个问题:
时序数据的写入:如何支持每秒钟上千万上亿数据点的写入。
时序数据的查询:又如何支持在秒级对上亿数据的分组聚合运算。
时序数据的存储:解决由海量数据存储带来的成本敏感问题。
时序数据的生命周期管理:工业数据的价值主要体现在及时性,因此,工业数据的生命周期管理是时序数据库的使命。
工业互联网时代,时序数据库为何如此重要?
工业互联网的发展呈现出关键技术加速突破、基础支撑日益完善、融合应用逐渐丰富、产业生态日趋成熟的良好态势。
工业数据每一个采集点,每秒可产生多条数据,且每一条数据要有时间属性,而且时间驱动的时序数据处理系统没有业务的波峰、波谷,对系统的可靠性和处理速度要求高。
所以工业数据的一个非常明显的特点就是和时间有关,这种“数据膨胀”带来的存储压力,已经成为工业互联网和数字化发展的痛点之一。
为什么要建立一个时间序列数据平台?
减轻开发人员的工作
我们经常会看到开发人员不断编写代码来解决相同的问题,如果我们将其引入到平台或者是数据库中,开发人员的代码量就会减少,解决问题的时间就会被优化。
时间是特殊的
除了可用性目标之外,我们还可以围绕时间序列的特性进行一些数据库的优化,例如,在插入时聚合和缩小样本,在用户想要释放空间时自动排除高精度数据。甚至还可以构建针对时间序列数据进行优化的压缩。
超越数据库,使开发更容易
专为时序数据构建数据库的一个优点就是它可以超越数据库。我们发现大多数用户遇到了一系列需要解决的问题,如何收集数据,如何存储数据,如何处理和监视数据,以及如何可视化。
使用通用API可以使社区更容易的构建解决方案。用 line protocol来表示时间序列数据,用于写入和查询的HTTP API,以及用于处理的Kapacitor……随着时间的推移,我们可以对常见的用例来预先构建组件。
时序数据的定义及作用
时序数据是指时间序列数据。是按时间顺序记录的数据列,在同一数据列中的各个数据必须是同口径的,要求具有可比性。时序数据可以是时期数,也可以时点数。
时序数据管理主要通过对时序数据的采集、处理和分析帮助企业实时监控企业的生产与经营过程。
时序数据在应用上特点也很明显,比如数据往往只保留一定时长,需要做降频采样、插值、实时计算、聚合等操作,关心的是一段时间的趋势,而不是某一特定时间的值等。
工业企业为了监测设备、生产线以及整个系统的运行状态,在各个关键点都配有传感器、采集各种数据。这些数据是周期或准周期产生的,有的采集频率高,有的采集频率低,这些采集的数据一般会发送至服务器,进行汇总并实时处理,对系统的运行做出实时监测或预警。
版权所有©2024 产品网