StarRocks 凭借高性能的实时 OLAP 能力,越来越多地被用作 Oracle 业务数据的分析引擎。如何把 Oracle 中的存量与增量数据稳定、持续地同步到 StarRocks?本文基于 NineData 数据复制功能的真实录屏演示,手把手带你完成从创建复制任务、选择复制对象、配置映射、预检查,到启动后查看结构复制、全量复制、增量复制,以及验证增量变更与 DDL 同步结果的全过程,并整理了 Oracle 到 StarRocks 的前置条件、参数配置与常见问题,照着做即可完成一次完整的 Oracle 到 StarRocks 数据迁移同步。
NineData 数据复制支持 Oracle 到 StarRocks 之间的结构复制、全量数据同步和增量数据同步,可按需组合三种复制类型:
• 结构复制:将 Oracle 的库表结构转换为 StarRocks 建表语句并在目标端执行,不同步数据;
• 全量复制:同步源数据源的所有对象与存量数据,通过智能数据分片实现行级并发批量复制,完成全量数据初始化;
• 增量复制:全量完成后基于 Oracle 的归档日志(ARCHIVELOG + 补充日志)持续同步增量变更,覆盖 INSERT/UPDATE/DELETE 与 DDL。
NineData 会按源表的主键、唯一键情况自动为 StarRocks 选择合适的表模型并定义 Key 与分桶键(Distribute Key),无需手工编写建表与映射代码。
• 已将源数据源(Oracle)和目标数据源(StarRocks)添加至 NineData,目标端无同名库表;
• 源端 Oracle 需开启归档日志 ARCHIVELOG,保证变更日志可被读取;
• 源端需开启补充日志(附加日志),建议设置为 ALL(数据库级或表级),用于增量解析;
• 源端账号需具备读取表结构、数据与变更日志的权限;
• 目标端 StarRocks 账号需具备建库建表与写入(DML/DDL)权限。
• Oracle 与 StarRocks 的对象、字段和数据类型存在差异,启动任务前请在映射配置和预检查结果中确认目标库、目标表、Key 及字段映射符合预期;
• 源端库表名称需符合 StarRocks(兼容 Doris 协议)命名规则:以字母开头,可包含字母、数字和下划线,不能包含空格或其他特殊字符;
• 为保障复制一致性,建议同步表尽量具备主键或唯一约束;本次演示中的 T_NOPK 即为无主键表,可作为参考;
• 全量初始化会占用源端与目标端一定的读写资源,建议在业务低峰期执行,并提前评估两端数据库性能;
• 增量阶段可查看各类型事件计数与 DDL 回放详情,确认结构变更已在目标端按相同语义完成。
登录 NineData 控制台,在左侧导航栏单击数据复制 > 数据复制,单击右上角创建复制。在数据源与目标页签:填写便于识别的任务名称(本次为 oracle->starrocks-DQ);源数据源选择已接入的 Oracle 实例,目标数据源选择 StarRocks 数据源;复制类型同时勾选结构复制、全量复制和增量复制,覆盖完整迁移流程;复制规格按需选择(本次为 Medium),目标库同名对象处理策略与存量数据处理策略保持默认。确认无误后单击下一步。
在选择复制对象页签,可以选择全部实例复制源库所有内容,也可以选择自定义对象,在源对象列表中勾选需要同步的库和表,单击添加加入右侧目标对象列表,目标端对象自动按同名映射,仔细核对迁移范围。本次演示选择了源库 ORA2SR_TEST 中的 4 张业务表:T_CUST、T_ORDER、T_WIDE_TYPE、T_NOPK。
在配置映射页签,源表与目标表默认一一对应,可确认字段级映射以及主键、分桶键(Distribute Key)的设置——NineData 会依据源表键定义自动为 StarRocks 选择合适表模型并推导 Key。如需调整列名或增加数据过滤条件,也可打开映射与过滤进行配置。核对无误后,单击保存并预检查。
预检查会自动核对连接、权限、参数与命名规范等 10 项配置,本次全部通过,重点包括:源/目标数据源连接检查、源库权限检查、目标库数据存在性与同名对象检查、循环链路检查、对象名合规性(符合 Doris 命名规范)、源库日志归档模式检查(ARCHIVELOG)、源库附加日志检查(补充日志 ALL),以及源库无主键表存在性校验。预检查未通过时,单击检查项右侧操作列的详情,排查失败原因并修复后单击重新检查。全部通过后单击立即启动。
预检查通过后任务自动进入启动流程,页面提示启动成功并展示任务 ID 与任务名称。单击查看详情进入任务详情页,即可查看结构复制、全量复制、增量复制各阶段的执行情况。
在结构复制页签查看目标对象的创建结果,列表展示源/目标库、源/目标对象、开始与结束时间及状态;结构复制将 Oracle 表结构转换为 StarRocks 建表语句并在目标端执行,本次演示的 4 张表很快全部变为已完成。单击操作列的查看 DDL,可以查看生成的建表语句详情,目标端结构与源端保持一致。
切换到全量复制页签,检查表级状态、完成进度和数据量;全量复制将存量数据全部写入目标端,过程中可单击监控查看复制吞吐量、读取/写入流量吞吐等指标。全量复制完成后,任务自动进入增量复制阶段。
在增量复制页签,可查看 INSERT、DELETE、UPDATE、DDL 各类型操作计数与读取延迟、复制延迟的监控曲线。任务进入增量阶段后会持续运行,源端每一次数据变更都会被链路自动捕获并同步到目标端,全程无需人工干预。
源端产生增量变更后,增量页签的操作计数实时累加:本次演示中 INSERT 70、DELETE 150、UPDATE 300、DDL 3,说明新增、删除、修改与结构变更均已同步到目标端。
读取延迟与复制延迟的监控曲线保持在秒级低位,任务状态为运行中(绿色标识),链路持续稳定运行;后续源端的任何变更都会持续实时同步到目标端 StarRocks。
Q1:Oracle 同步到 StarRocks 支持哪些复制类型?
支持结构复制、全量复制和增量复制三种类型,可单独或组合使用。生产迁移建议同时勾选三种:结构复制完成建表,全量复制完成存量初始化,增量复制基于归档日志持续同步变更,实现平滑迁移。
Q2:源端 Oracle 需要做哪些配置?
需要开启归档日志 ARCHIVELOG,并开启补充日志(附加日志),建议设置为 ALL;同时确保变更日志可被读取。否则预检查会失败,增量同步无法建立复制通道。
Q3:源端账号需要哪些权限?
需要具备读取待复制对象及其元数据的权限,以及访问变更日志的权限,具体以任务预检查结果为准。
Q4:目标端存在同名表或存量数据怎么办?
在数据源与目标页签的目标库同名对象处理策略与目标表存量数据处理策略中选择:预检查报错并停止任务、跳过并继续任务、忽略目标存量数据追加写入,或清空目标存量数据重新写入。执行清空重建前务必确认目标数据可以处理,避免误删。
Q5:预检查失败如何处理?
在预检查页签单击失败项右侧的详情,查看具体原因(常见如归档日志未开启、补充日志未设置为 ALL、权限不够、库名表名不符合 StarRocks 命名规范等),手动修复后单击重新检查,直至全部通过;警告项可视情况修复或忽略。
Q6:增量延迟保持在秒级意味着什么?
在复制详情页顶部与增量复制页签均可查看同步延迟。延迟保持在秒级低位、操作计数与源端一致,表示源端与目标端数据基本同步,可将业务切换到目标 StarRocks,实现平滑迁移。
通过以上步骤,我们使用 NineData 完成了 Oracle 到 StarRocks 的结构、全量和增量复制配置,并验证了对增删改与 DDL 变更的实时同步能力。相比手工导出导入,NineData 将建表映射、模型转换、增量同步与一致性校验整合在一条可视化链路中,大幅降低 Oracle 到 StarRocks 迁移的门槛与风险。如果你正在规划 Oracle 到 StarRocks 的数据迁移,不妨按本文步骤实际操作一遍。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70024772/viewspace-3189037/ ,如需转载,请注明出处,否则将追究法律责任。