TDengine TSDB 成功落地量测数据管理系统,以贴合 “系统 — 设备 — 测点” 的树形建模优势与卓越高并发、计算性能,构建 “采集 — 存储 — 加工 — 服务” 全链路架构。系统经平稳切换后,已稳定支撑 300 万测点、数十亿条数据运行,依托原生流式计算能力实现关键指标实时分析,快速识别机组运行异常,大幅提升数据处理效率与生产运维时效性,为业务增长提供坚实数据底座。
随着公司业务持续扩张,量测数据规模快速攀升,原大数据平台在处理高频时序数据方面的局限日益突出:采集与加工链路过长、系统间衔接不畅、延迟高,尤其在应对机组高频运行数据时,计算与服务响应明显滞后,已无法满足生产运行监控对数据时效性的要求。
基于业务发展战略,公司决定升级大数据平台技术架构,引入专业时序数据库,建设全新的量测数据管理系统,以提升高并发采集能力、加速数据加工链路、增强系统稳定性,为生产运行管理提供可靠的数据底座。
在充分调研行业主流时序数据库产品并完成专项测试后,公司最终选定 TDengine TSDB。关键原因主要体现在以下两点:
公司量测数据具备明确的“系统—设备—测点”层级关系,对数据组织与管理方式要求较高。其它时序数据库在复杂层级数据建模上灵活性不足,难以满足多业态统一管理诉求。
TDengine TSDB 能完全贴合公司既有数据模型规范,支持树形结构建模,数据组织更清晰,后续查询、管理、扩展成本更低。
在模拟生产高峰写入场景中,其它时序数据库曾出现写入延迟甚至数据丢失,无法确保高并发环境下的数据完整性。
TDengine TSDB 表现稳定,写入速度快、数据无丢失,并在大规模聚合与统计计算任务中明显更高效,更符合公司对时效性数据加工的要求。
基于 TDengine TSDB,公司构建了“采集—存储—加工—服务”全链路的新型量测数据管理系统:
采集层:提供实时与批量两种模式,覆盖生产环境各类设备。其中实时数据采集针对集控数据,支持源端 IEC104 协议、MQTT 协议、Kafka 等类型数据实时接入;非实时数据采集同样面向集控数据,涵盖数据库、接口等多种数据源,确保数据采集全面且精准。
存储层:以 TDengine TSDB 为核心,按业务模型统一管理全量时序数据,保障数据存储的稳定性与安全性。
加工层:借助内置计算能力完成清洗、转换及关键指标实时分析,同时支持 TDengine TSDB 与 Hadoop、OLTP、OLAP 等数据库间的数据同步功能,可根据企业量测数据技术架构实现分场景的数据加工、推送及共享。
服务层:向生产运营、监控等业务系统提供标准化接口和高时效性数据服务,核心包含数据共享功能 —— 作为数据平台各节点间及与外部平台数据交换的基础核心能力,可实现加工后数据或分析成果的统一共享,将数据转化为数据能力。数据共享分为两类:
非实时数据共享:针对小时级、日级、月级的量测结果数据,基于消费需求定制相关服务接口,通过共享平台实现按需数据供给服务;
实时数据共享:针对秒级、分钟级的量测数据,依托时序库自带的主题发布功能,按消费需求将流式处理结果表或原始数据发布至消息队列,满足消费方的实时数据需求。
严格按照公司元数据规范构建标准化数据模型,实现不同业态数据的统一组织,充分利用 TDengine TSDB 的多列和单列模型,提升查询效率与系统可维护性。
部分表结构设计如下:
field | type | length | note | ===================================================================== ts | TIMESTAMP | 8 | | rated_power | DOUBLE | 8 | | minimum_power | DOUBLE | 8 | | data_rate | DOUBLE | 8 | | company | VARCHAR | 255 | TAG | ps_name | VARCHAR | 255 | TAG | country_code | VARCHAR | 255 | TAG | ps_code | VARCHAR | 255 | TAG | rated_energy | VARCHAR | 255 | TAG | rated_power_unit | VARCHAR | 255 | TAG | data_unit | VARCHAR | 255 | TAG | remark | VARCHAR | 255 | TAG |
field | type | length | note | ====================================================================== ts | TIMESTAMP | 8 | | val | DOUBLE | 8 | | point | VARCHAR | 64 | TAG | point_name | NCHAR | 64 | TAG | point_path | VARCHAR | 64 | TAG | index_name | NCHAR | 64 | TAG |
针对告警、能量统计、有功功率等重要应用场景,公司充分利用 TDengine TSDB 原生流式计算能力,实现实时化的数据分析与业务指标生成,使关键指标不再依赖复杂的外部计算链路,整体加工效率大幅提升。
|
序号 |
功能 |
|---|---|
|
告警功能 |
|
|
1 |
系统级告警 |
|
2 |
变流器告警 |
|
3 |
电池簇报警 |
|
数据处理 |
|
|
1 |
当日总充/放电量 |
|
2 |
当日最大\最小soe |
|
3 |
电站有功功率 |
|
4 |
当日最大充电功率第一次时间 |
|
5 |
当日上/下网电量 |
|
6 |
站用电量 |
|
7 |
场站5分钟平局功率 |
流计算示例:当日总充电量
create stream `st_str_test01` trigger force_window_close into `ctest`.`stb_test01` tags(
point varchar(255),
index_code varchar(255),
ps_code varchar(255),
ps_name varchar(255)
) subtable(concat('test01_', point)) as
select
_wstart dt,
first(val) fir_val,
last(val) sec_val
from
ctsdb.stb_cn
where
1 = 1
and index_code = 'drzcdl'
and dt >= TODAY() - 1d partition by tbname,
point,
index_code,
ps_code,
ps_name interval(1d);
新系统已全面覆盖数据采集、历史迁移、实时加工和数据服务等关键环节,整体链路更短、响应更快、可运维性提升明显。
目前系统已接入 300 万测点,数据规模达数十亿条。通过合理的硬件配置扩容,系统在高负载下仍保持稳定运行,为业务持续增长预留充足空间。
依托高并发、低延迟的数据库引擎,系统可对机组运行状态进行更及时的监测,快速识别功率突变等异常情况,为生产运行提供更高时效性的风险预警能力,明显提升运行安全性与管理效率。
TDengine TSDB 驱动的量测数据管理系统,以贴合场景的树形建模与全链路架构,成功支撑 300 万测点、数十亿数据稳定运行。其高并发处理与原生流式计算优势,显著提升数据时效性与运维效率,强化风险预警能力。经针对性优化攻克运行挑战后,系统性能更趋稳定。未来,我们将持续深化技术适配,探索与 AI、边缘计算的融合应用,拓展跨业态数据协同场景,推动数据价值从运维支撑向战略决策延伸,以更智能、高效的时序数据管理能力,助力业务创新升级,为企业长远发展注入持续动能。
中能拾贝科技有限公司致力于通过先进的技术和产品,为企业提供全方位的工业数智产品与解决方案。拾贝云工业智能底座涵盖工业智能操作系统、物联网、大数据、人工智能等多个技术平台,应用产品覆盖故障预测与健康管理(CyberwPHM)、企业资产管理(CyberwEAM)、工业控制系统(CyberwICS)等多个应用领域。其以客户为中心,根据企业的实际需求,量身定制专业的行业解决方案,助力企业提升生产效率、降低运营成本。
作者:何乐
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70014783/viewspace-3174166/ ,如需转载,请注明出处,否则将追究法律责任。