导读
安徽省住房公积金监管服务平台通过整合全省 17 家公积金中心的数据,致力于实现数据共享、规范化管理与高效数据分析。为了应对海量数据处理需求,安徽省选择 TiDB 作为底层数据库,利用其分布式架构和 HTAP 能力,实现了快速的数据分析与治理。TiDB 的高效性能提升了平台的数据处理能力和查询效率,为全省公积金数据的统一管理与共享提供了有力支持。
本文将详细介绍 TiDB 在平台中的应用与实际效果,以及 TiDB 如何帮助安徽省提升数据分析和治理能力。
安徽省住房公积金监管服务平台是一个集成了全省 17 家公积金中心数据的监管服务平台,此平台主要目标是构建一个省级住房数据平台,以满足国家数据标准,规范并统一省内住房公积金数据的应用。此外,它还需要与住建部的全国公积金数据共享平台以及省大数据局对接,以便实现省级数据的共享,并且能够为省数据共享提供可靠的数据支撑。
平台功能介绍
数据采集 :从安徽省各市和安徽省公积金业务系统采集数据,包含公积金交易、转账等明细信息。
数据分析 :基于各市公积金上报业务明细数据进行统计分析,如根据根据公积金交易明细数据计算公积金核心经验业务指标,基于业务数据进行报表可视化展示等。
数据加工治理 :需要对各市级公积金上报数据进行统计、校对,并对上报数据进行统一建模加工形成统一的数据标准,确保数据规范和统一标准,以便提供与各市、外省以及全国公积金交换和共享数据。
数据共享上报 :安徽公积金数据规范之后需要再往全国公积金共享平台上报数据。
数据库技术选型要求
为了实现安徽省住房公积金监管服务平台上述功能要求,解决全省 17 个公积金系统海量数据融合互通能力,提升数据分析效性和数据加工治理等生产环境面对的痛点,安徽省住房公积金监管服务平台启动了原生分布式数据库的测试选型,具体的要求包括:
数据扩展 :需要数据库具备海量数据存储、汇聚和计算能力,实现多市海量数据汇聚和全省数据融合互通
数据分析 :需要数据库具备高性能数据分析能力,实现高性能经营指标分析、报表可视化展示和智慧大屏等业务
数据加工治理 :需要数据库具备高效数据加工能力,实现高效数据治理、统一建模等业务
高可用 :需要数据库具备多副本数据存储能力,提高关键海量数据完整性和高可用能力
自主可控 :需要数据库具备自主可控能力,确保业务连续性和自主可控
经过多轮对比测试和业务场景的验证,TiDB 满足了本次技术选型的所有指标。安徽省住房公积选择将 TiDB 作为国家免疫规划信息系统的底层数据库。
经过多轮对比测试和业务场景的验证,TiDB 满足了本次技术选型的所有指标。安徽省住房公积金选择将 TiDB 作为安徽省住房公积金监管服务平台的底层数据库。
系统架构图
结合系统的实际运行效果,总结 TiDB 为安徽省住房公积金带来的收益如下:
海量数据处理 :TiDB 使用存算分离架构,计算和存储节点都可以按需扩展。目前已经存储接近 1 TB 数据。
高效数据分析 :TiDB HTAP 能力单个 SQL 可以在多台服务器上并行计算,并且可以使用 TiFlash 列存做列存分析计算。经营指标、报表展示、智慧大屏等查询业务均在秒级别完成,提升了数据分析效率。
数据加工治理 :利用 TiDB 分布式和 HTAP 能力,结合应用数据治理模块拆批能力,实现超大数据量高效数据治理能力,统一全省数据标准。
高可用 :利用 TiDB 多副本和 Raft 金融级数据强一致性性,提升了数据高可用能力。
自主可控 :TiDB 为自主可控的开源数据库产品,满足自主可控需求。
安徽省住房公积金监管服务平台的成功实践证明了 TiDB 在处理海量数据、提升数据分析效率以及保障数据高可用性方面的卓越能力。
通过整合全省 17 家公积金中心的数据,平台实现了数据的统一管理和高效共享,为省级数据治理和全国公积金数据交换提供了坚实的技术支撑。TiDB 的分布式架构和 HTAP 能力不仅满足了平台当前的业务需求,还为未来的数据扩展和功能升级奠定了基础。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69994146/viewspace-3074966/ ,如需转载,请注明出处,否则将追究法律责任。