把MySQL的业务表实时搬到Doris,是数据仓库落地时绕不开的一条链路:源端要能持续捕获变更,目标端要能稳定承接写入,中间还得有一个可观测、可告警的同步通道。
ETLCloud的做法是 「监听器+全量流程+增量流程」三段式——监听器负责从源库CDC里取变更,全量流程负责把存量数据一次性灌进去,增量流程负责把每一条INSERT/UPDATE/DELETE落到Doris。
本文以MySQL同步到Doris为主线,把数据源、监听器、全量流程、增量流程一步步配到位,再讲清两件最容易在真实项目里翻车的事:多表场景下路由条件怎么写,以及自动建表报错、Read time dout这类故障怎么定位。全文以单库单表(book)为例,多表只需复制输出组件并按表名更改路由条件。
图1:分别创建MySQL与Doris数据源,类型推荐使用连接池
正式配置前有三件事必须先确认,否则后面要么组件拉不出来,要么监听器根本起不来。
|
前置项 |
要求 |
说明 |
|---|---|---|
|
输出组件 |
已安装Doris批量快速输出、Doris快速输出组件 |
未安装需先参考组件安装文档完成安装 |
|
源端类型 |
社区版监听器支持MySQL、SQLServer、PostgreSQL、Oracle四种数据库作为源端 |
其他数据库不能作为监听器源端 |
|
CDC开启 |
使用前需在源数据库开启CDC(变更数据捕获) |
MySQL的开启方式参考「MySQL数据库CDC日志」 |
还有一条容易被忽略的风险:采用「传输到ETL」模式时,若下游流程执行失败,监听器不会自动停止,会持续产生失败记录。生产上应配置流程失败告警,并在告警里自动调用停止接口,避免异常记录无限堆积。
先分别创建MySQL数据源和Doris数据源,两个都要建,缺一个后面的节点就配不下去。数据源类型推荐使用连接池,避免同步过程中频繁建连;若使用MySQL数据库,建议增加MySQL优化参数。
监听器是实时链路的总开关,创建时有三处关键选择:传输模式、监听的表、以及变更数据要流向哪个流程。
1.传输模式选择「传输到ETL」
Doris属于特殊数据库,官方提供专门的输出组件,因此监听器传输模式必须选择传输到ETL。
图2:监听器传输模式选择「传输到ETL」
2.一键载入全部表
点击载入按钮,选中数据库中的全部表即可,不必逐张添加。注意载入的表有最大值限制,若发现需要的表没有载入,需要调整「载入表读取数」参数后再重新载入——多表场景下漏表往往就卡在这一步。
图3:点击按钮选中数据库中的全部表
3.指定变更流向的流程
选择监听到的数据流向的流程,即增量数据要进入哪个ETL流程。这一步决定了后面增量流程的设计对象。
图5:选择监听数据流向的流程
全量流程解决「存量怎么进Doris」,只需要一个输出组件:Doris批量快速输出。它按批写入,适合一次性装载大表。
1.进入全量设计
在监听器上点击全量设计,进入全量同步流程设计界面。
图6:点击全量设计进入全量同步流程
2.拉取Doris批量快速输出组件
从组件面板拉取Doris批量快速输出组件,与上游输入节点连线。目标端换成Greenplum、StarRocks、Hive、Hudi、Iceberg、ElasticSearch、MongoDB、Redis、HBase等特殊数据库时,操作步骤完全一致,只需把组件替换成对应的批量输出组件。
图7:拉取Doris批量快速输出组件
3.是否开启自动建表
自动建表根据实际需求选择:开启后流程会按源表结构在Doris建表,省事但对字段类型的映射要求高;关闭则需提前在Doris建好表。开启自动建表时若报错,处理办法见第8章。
图8:自动建表开关,按实际需求选择
4.查看全量执行记录
运行后在全量执行记录里确认装载结果,行数与源表一致即表示存量已经进仓。
图9:全量执行记录
全量跑通后再设计增量流程。增量流程的组件数量与监听表数量一一对应:监听器监听几个表,就拉取几个Doris快速输出组件,每个组件专管一张表的变更。
1.每个表一个Doris快速输出组件
把多个Doris快速输出组件平铺在画布上,分别连到上游输入节点。这样单表的变更不会和其他表抢同一个写入通道,排障时也能一眼看出是哪张表卡住。
图10:监听几张表就拉取几个Doris快速输出组件
2.路由条件:把变更分发给正确的组件
多表场景的核心就在这一步:与Doris快速输出组件连接的路由线都需要设置路由条件,用表名做判断,把变更精确路由到对应组件。若监听器只有一个表,则无需设置路由条件。
图11:路由线设置路由条件
路由脚本用变量作为判断标记,只需把book换成自己的表名即可:
//使用变量作为判断标记
functionassert(engine,nodeDoc,nodeId,indoc){
varflag=indoc.get("tableName");//获取变量
if(flag==="book"){
return1;//返回1表示成立
}else{
return0;//返回0表示禁止
}
}
多表时的写法就是把这段脚本复制到每个输出组件的前置路由上,只改判断里的表名与1/0的对应关系;表越多,越要保证「一条变更只能命中一个组件」,否则同一行数据会被写两次,目标表出现重复。
3.输出模式选「增删改」
Doris快速输出组件的数据输出模式选择增删改模式,否则UPDATE与DELETE无法落到目标表。
图12:数据输出模式选择增删改
4.勾选关键字(主键或唯一键)
选择增删改模式后必须勾选关键字,用主键或唯一键定位目标行。这一步漏掉,更新会退化成插入,目标表很快出现重复数据;多表场景下这类问题往往只出现在某一张表上,排查时优先核对该表的输出组件是否勾了关键字。
图13:勾选关键字(主键或唯一键)
配置完成后做一次最小验证:在源表新增一条数据,观察链路的三处反馈是否都对得上。
图14:在源表新增一条数据
传输信息应显示源表新增一条数据、目标表也新增一条数据;增量流程的记录里同样应有一条成功传输。三处一致,说明链路通了。多表监听时建议逐表各插一条,确认每条变更都进了对应的目标表。
图15:传输信息显示源表与目标表各新增一条
图16:增量流程记录显示成功传输一条
链路跑通和能不能上线是两件事。下面这张表把全文的关键动作收成一张核对单,逐项过完再切生产,能挡掉大部分低级故障。
|
检查项 |
正确做法 |
做错的后果 |
|---|---|---|
|
源库CDC |
已开启变更数据捕获 |
监听器取不到变更,增量流程空转 |
|
传输模式 |
选择传输到ETL |
Doris专用输出组件无法接入 |
|
表是否全载入 |
核对载入表数量,必要时调大「载入表读取数」 |
多表场景漏表,部分表长期不同步 |
|
输出组件数量 |
每张监听表对应一个Doris快速输出组件 |
多表挤一个通道,互相拖慢且难以定位 |
|
路由条件 |
每条路由线按表名判断,一条变更只命中一个组件 |
重复写入或变更丢失 |
|
输出模式与关键字 |
增删改模式+勾选主键/唯一键 |
UPDATE退化为INSERT,目标表重复数据 |
|
Doris端口 |
数据端口8040 |
写入报Read timed out |
|
失败告警 |
配置流程失败告警并自动调用停止接口 |
监听器不停跑,失败记录无限堆积 |
1.Doris自动建表报错
开启自动建表后全量流程报错,一般是源表字段类型映射到Doris时不兼容。
图17:Doris自动建表报错
图18:报错发生在全量同步流程
修复方案:可以用Java脚本在流程中动态替换表元数据,后者适合表多、表结构不统一的场景。
图19:修复方案——使用Java脚本
用Java脚本修改后需点击编译保存,再重跑全量流程。
脚本的作用是在建表前动态替换表元数据,支持三种替换模式:表级字段(table Remark、table Name)、按索引替换colId、按条件替换(如colId:id→colType:bigint)。当表名不同、字段名不同或建表语法异常时都可以用它兜底;使用时拉取一个新的Java脚本组件,替换示例代码中的类名即可。
2.Doris Readt ime dout
增量写入报Read timed out,绝大多数是Doris数据端口填错。示例中正确的数据端口为8040,不是FE的查询端口。改端口后务必重跑一次增量验证,确认写入恢复。
图22:Doris Read timed out报错
图23:数据端口应为8040
这条链路真正的难点不在组件怎么拖,而在几个「必须做对」的点上:源端CDC要开、传输模式要选对、多表要一表一组件并按表名写好路由条件、增删改模式必须勾主键关键字、Doris端口要用8040。这五点对了,全量与增量就能稳定衔接;之后无论是加表、换目标库,还是给流程补告警,都能在这套结构上继续扩,不必推倒重来。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70005218/viewspace-3189406/ ,如需转载,请注明出处,否则将追究法律责任。