把 PostgreSQL 业务数据同步到 Apache Doris 做实时分析,是当前非常流行的数仓架构。本教程基于 NineData 数据复制控制台的完整实操录屏,演示从创建复制任务、选择 PostgreSQL 与 Doris 实例、勾选复制类型,到库表选择、键列与分布键映射、预检查、结构/全量/增量复制以及数据对比的完整流程。
全程图形化操作,无需编写脚本或维护 ETL 任务,同步链路建立后可持续将业务库变更实时写入 Doris,供报表与大屏查询使用。
• 三阶段同步: 结构复制建表、全量复制初始化存量、增量复制持续同步变更。
• 目标对象名称可控: 目标对象名称保持与源端一致,也可按需映射。
• 键列与分布键: 针对 Doris 表模型可视化核对键列与分布键,并支持批量配置映射规则。
• 复制规格可视: 创建时即可检查复制规格以及同名对象、存量数据和增量冲突的处理策略。
• 增量监控告警: 读取延迟、复制延迟、读取吞吐量等指标监控与告警,全方位保障链路稳定。
• 源端 PostgreSQL: 开启逻辑复制(wal_level=logical),同步账号具备 replication 权限与表读取权限。
• 目标端 Doris: 已创建 Doris 集群并添加为数据源,账号具备建库建表与导入权限。
• NineData 控制台: 已完成两类数据源接入。
进入创建复制页面,源数据源选择 PostgreSQL 并确认实例,目标数据源选择 Doris 及对应实例。
勾选结构复制、全量复制和增量复制,目标对象名称保持与源端一致;检查复制规格以及同名对象、存量数据和增量冲突的处理策略。
勾选需要同步的库表,将它们加入右侧目标对象列表,再进入下一步。
在配置映射页面核对目标库、目标表、键列和分布键;打开映射与过滤查看字段映射和数据过滤条件。批量配置功能可用于统一设置映射规则,本次查看后关闭窗口。
保存并执行预检查,页面逐项检查连接、权限和复制条件。本次无主键表检查失败,可查看缺少主键或唯一键的表;演示中跳过该项检查,页面显示已忽略——生产使用前应确认影响并尽量补齐约束。
任务启动后,可分别查看结构、全量和增量复制的执行情况。在配置告警策略中可新建策略或应用已有策略:本次新建告警策略,选择规则与接收人,填写名称后保存。
结构复制列表显示各表状态,当前可见的表均已完成。点击查看 DDL,可核对目标表的建表语句和副本数配置。
切换到全量复制页签,查看各表的开始时间、结束时间、完成记录数和状态。全量阶段完成后,顶部状态显示任务进入增量复制。
进入数据对比页面,点击重新对比并设置校验方式。本次选择重新全量对比并使用全量对比方式;展开高级配置可查看对比并发数、分片和数值精度等参数。确认配置后启动对比,列表中可查看各表的执行状态。
切换到增量复制页签,查看读取延迟、复制延迟和变更统计;向下滚动查看读取流量、写入流量以及读取和写入速率。NineData 增量服务支持读取延迟、复制延迟、读取吞吐量等指标监控与告警,全方位保障链路稳定可控。
以上就是使用 NineData 将 PostgreSQL 数据同步到 Doris 的配置与查看过程。通过结构+全量+增量的组合与数据对比校验,PostgreSQL 到 Doris 的实时分析链路可以稳定长期运行,让分析查询始终基于最新数据。
Q1: PostgreSQL 端需要哪些配置?
需将 wal_level 设为 logical 并配置逻辑复制槽权限,预检查会检查逻辑复制配置与复制槽等条件,缺失时按提示处理。
Q2: 无主键表检查失败怎么办?
可查看缺主键的对象清单,建议补齐主键或唯一键;确需跳过时应评估增量一致性与性能影响。
Q3: 键列和分布键如何设置?
在配置映射页面按 Doris 表模型核对键列与分布键,也可用批量配置统一设置映射规则,避免逐表调整。
Q4: 数据对比有哪些方式?
支持全量、快速与行数对比,可调整对比并发数、分片与数值精度等高级参数,按数据规模选择合适方式。
Q5: 增量延迟高怎么排查?
在增量复制页签观察读取/复制延迟与读写速率,结合监控告警定位瓶颈,必要时调整限流与并发。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70024772/viewspace-3188616/ ,如需转载,请注明出处,否则将追究法律责任。