ITPub博客

首页 > 数据库 > 国内数据库 > 历史数据和增量数据无缝结合神器-实时同步系统 GBase RTSync

历史数据和增量数据无缝结合神器-实时同步系统 GBase RTSync

原创 国内数据库 作者:GBASE南大通用 时间:2020-09-30 15:59:09 0 删除 编辑

南大通用实时同步系统,简称:GBase RTSync ,它是一款自主研发的异构及同构数据库增量数据实时同步产品,具备实时性、一致性、精准性、易扩展性和可集成特性,适用于OLTP 数据库与OLAP 数据库联动向应用系统提供数据管理和数据分析功能的业务场景,可以实现将OLTP 数据库的数据实时同步到OLAP 数据库,从而使得OLAP 数据库具备了实时数据分析的基础,解决数据增量同步问题,能够有效提升数据仓库系统、BI 系统和决策支持系统的数据分析效率和及时性。


 

GBase RTSync 核心组件

 


● Capture :从数据源获取并解析增量数据逻辑日志,按照特定的协议标准封装后发送给消息队列;

● Delivery :从消息队列组件中获取协议数据,并根据目标库的类型,组织和优化数据,将数据写入目标数据库;

● MQ :支持Kafka 以及Rabbit MQ ,两者均可保证高可用;

管理模块:启、停和监控Capture Delivery 组件,校验源和目标端数据同步相关配置信息。

 

GBase RTSync 关键技术

 

基于逻辑日志的解析的增量同步对源库影响小

在线接管,减少源库的非计划停机

分布式架构支持水平扩展

与主流消息中间件兼容Kafka rabbitMQ

支持高可用模式

 

 

项目需求

 

国网某省份要重点进行人员、财务、物资、客户、资产、项目等10 个业务主题域模型的数据整合实施工作。数据整合任务涉及物理模型有 3000+ 个,涉及来源表有 3000+ 张等。本项目模型多、表多、表关系复杂度高,但要求数据整合工作快速准确,增量数据准实时同步到数据仓库中。

 

项目方案

 

GBase RTSync+GBase 8a MPP 组合。搭建GBase RTSync 前置服务器,对接前端贴源历史库和后端全域模型的数据明细层及轻度汇总层。RTSync 完成历史数据导入和源库零停机的增量数据接入,支撑峰值源库1.5TB/ 日的归档量的增量同步。GBase RTSync + GBase 8a MPP 集群数据库深度优化绑定方案,满足海量数据存储、大规模并行计算、准实时增量流转等功能需求和性能要求。


 

项目价值

 

本项目采用GBase 8a MPP 大规模分布式并行数据库集群系统,搭建14 节点集群(5 个集群节点+9 个数据节点)存储整合明细数据和轻度汇总数据。

准实时同步,准确高效:GBase RTSync 实现增量抽取、增量加载的数据准实时同步功能,高达秒级同步效率;而且确保同步数据一致;

海量数据,高速初始化:实现高速加载数据,同时提供高压缩比入库从而提升性能,海量存储能力,整合多业务数据,并可根据需求在线动态扩展;

全量初始化,无需停机:新业务新表接入国网全业务统一数据中心的源端数据库不需要停机,也不需要暂停原业务运行,GBase RTSync 实现历史数据和增量数据无缝结合,保障源库正常运行下,高效加载至整合数据库中。

 

 


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69979120/viewspace-2725311/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2020-07-16

  • 博文量
    26
  • 访问量
    9993