基于数据中台的数据质量管理平台,包括量测数据不落地加工处理模块,量测数据在线质量监测模块和数据质量工具模块;所述测量数据不落地加工处理模块通过流计算对量测数据加工处理;所述量测数据在线质量监测模块采用流计算在线监测数据质量异常;所述数据质量工具模块采用离线计算管理数据中台中的数据质量.本发明提供计算平台,满足大规模量测数据质量问题的识别需求,在线流计算的数据质量对比效率大概10万/S,离线数据质量对比效率大概40万/S.


数据质量是数据仓库项目和决策分析系统成功的关键因素。数据质量问题一直以来是困扰***管理决策和经营发展的问题。对数据进行科学有效的质量管理和质量控制,以确保数据质量较高的数据仓库为管理者提供可信的决策支持已成为现阶段***现代化管理工作的基础工作。 企业级数据质量管理和质量控制体系是企业信息化的有效手段,是数据质量改进的必经途径,是解决数据质量问题的基础环节。 


通过这两个主要的实现途径,对建行的数据质量管理的实现方法进行初步探讨。 该项目作为数据仓库的数据质量管理问题,是建设***借鉴***的业界经验,通过完善的工作方法,严谨的工作流程,形成的建行数据质量管理和质量控制体系。该项目的内容可以作为提高数据仓库的数据质量方面的工作实例,为企业业务系统建设做好数据质量管理提供了很好的思路和借鉴。