ITPub博客

首页 > 数据库 > PostgreSQL > NineData配置PostgreSQL到Doris实时复制:含预检查、分布键映射与一致性校验

NineData配置PostgreSQL到Doris实时复制:含预检查、分布键映射与一致性校验

原创 PostgreSQL 作者:NineData 时间:2026-11-11 15:39:56 0 删除 编辑

把 PostgreSQL 业务数据同步到 Apache Doris 做实时分析,是当前非常流行的数仓架构。本教程基于 NineData 数据复制控制台的完整实操录屏,演示从创建复制任务、选择 PostgreSQL 与 Doris 实例、勾选复制类型,到库表选择、键列与分布键映射、预检查、结构/全量/增量复制以及数据对比的完整流程。

图1

全程图形化操作,无需编写脚本或维护 ETL 任务,同步链路建立后可持续将业务库变更实时写入 Doris,供报表与大屏查询使用。

一、方案与能力概览

• 三阶段同步: 结构复制建表、全量复制初始化存量、增量复制持续同步变更。

• 目标对象名称可控: 目标对象名称保持与源端一致,也可按需映射。

• 键列与分布键: 针对 Doris 表模型可视化核对键列与分布键,并支持批量配置映射规则。

• 复制规格可视: 创建时即可检查复制规格以及同名对象、存量数据和增量冲突的处理策略。

• 增量监控告警: 读取延迟、复制延迟、读取吞吐量等指标监控与告警,全方位保障链路稳定。

二、前置条件

• 源端 PostgreSQL: 开启逻辑复制(wal_level=logical),同步账号具备 replication 权限与表读取权限。

• 目标端 Doris: 已创建 Doris 集群并添加为数据源,账号具备建库建表与导入权限。

• NineData 控制台: 已完成两类数据源接入。

三、创建复制任务

进入创建复制页面,源数据源选择 PostgreSQL 并确认实例,目标数据源选择 Doris 及对应实例。

图2

复制类型与冲突策略

勾选结构复制、全量复制和增量复制,目标对象名称保持与源端一致;检查复制规格以及同名对象、存量数据和增量冲突的处理策略。

图3

四、选择库表与配置映射

勾选需要同步的库表,将它们加入右侧目标对象列表,再进入下一步。

图4

在配置映射页面核对目标库、目标表、键列和分布键;打开映射与过滤查看字段映射和数据过滤条件。批量配置功能可用于统一设置映射规则,本次查看后关闭窗口。

图5

五、预检查与无主键表处理

保存并执行预检查,页面逐项检查连接、权限和复制条件。本次无主键表检查失败,可查看缺少主键或唯一键的表;演示中跳过该项检查,页面显示已忽略——生产使用前应确认影响并尽量补齐约束。

图6

六、启动任务与告警配置

任务启动后,可分别查看结构、全量和增量复制的执行情况。在配置告警策略中可新建策略或应用已有策略:本次新建告警策略,选择规则与接收人,填写名称后保存。

图7 图8

七、结构复制与全量复制

结构复制列表显示各表状态,当前可见的表均已完成。点击查看 DDL,可核对目标表的建表语句和副本数配置。

图9

切换到全量复制页签,查看各表的开始时间、结束时间、完成记录数和状态。全量阶段完成后,顶部状态显示任务进入增量复制。

图10

八、数据对比校验

进入数据对比页面,点击重新对比并设置校验方式。本次选择重新全量对比并使用全量对比方式;展开高级配置可查看对比并发数、分片和数值精度等参数。确认配置后启动对比,列表中可查看各表的执行状态。

图11 图12

九、增量复制监控

切换到增量复制页签,查看读取延迟、复制延迟和变更统计;向下滚动查看读取流量、写入流量以及读取和写入速率。NineData 增量服务支持读取延迟、复制延迟、读取吞吐量等指标监控与告警,全方位保障链路稳定可控。

图13

十、结语

以上就是使用 NineData 将 PostgreSQL 数据同步到 Doris 的配置与查看过程。通过结构+全量+增量的组合与数据对比校验,PostgreSQL 到 Doris 的实时分析链路可以稳定长期运行,让分析查询始终基于最新数据。

常见问题 FAQ

Q1: PostgreSQL 端需要哪些配置?

需将 wal_level 设为 logical 并配置逻辑复制槽权限,预检查会检查逻辑复制配置与复制槽等条件,缺失时按提示处理。

Q2: 无主键表检查失败怎么办?

可查看缺主键的对象清单,建议补齐主键或唯一键;确需跳过时应评估增量一致性与性能影响。

Q3: 键列和分布键如何设置?

在配置映射页面按 Doris 表模型核对键列与分布键,也可用批量配置统一设置映射规则,避免逐表调整。

Q4: 数据对比有哪些方式?

支持全量、快速与行数对比,可调整对比并发数、分片与数值精度等高级参数,按数据规模选择合适方式。

Q5: 增量延迟高怎么排查?

在增量复制页签观察读取/复制延迟与读写速率,结合监控告警定位瓶颈,必要时调整限流与并发。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70024772/viewspace-3188616/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: 没有了~
请登录后发表评论 登录
全部评论
NineData公众号(ID:NineData-Cloud) 发布产品功能介绍, SQL开发、数据复制、数据备份及数据对比功能。通过这些功能,可以轻松完成日常数据库开发、数据安全访问、生产数据库变更与发布、数据库备份恢复、数据迁移、容灾多活、数据仓库及数据湖构建等核心应用场景。

注册时间:2022-11-30

  • 博文量
    119
  • 访问量
    140620