许多企业为数据库日志解析而头痛,时常因为技术瓶颈,无法保证数据的实时性和一致性。
今天我们为您推荐一款新一代数据集成平台——ETLCloud。这款平台通过
可视化的CDC配置能力和
开箱即用的链接器,可帮助企业快速完成数据库日志解析,构建高可靠的数据实时管道。
本文将为您深入解析,如何通过ETLCloud快速落地CDC方案,释放实时数据的战略价值。
3.源端数据库开启CDC功能,具体开启方法可以参考etlcloud官网帮助文档。
首先要配置好数据源,来到平台首页,进入数据源管理模块。
首先创建源端数据库的数据源,这里要监听mysql数据库,所以创建mysql的数据源。
同理创建目标表的数据源链接,这里是sqlserver的数据源。
创建好数据源后,来到平台首页,进入实时数据集成模块,准备创建数据库监听器。
上面这种情况是做单纯的增量同步,但如果需要对数据进行处理的话,直接传输的模式就不适用了,需要使用传输到etl功能,比如需要监听源表变更的同时打宽源表的数据。
目标表数据:
这里的需求是,源表监听到数据,要根据id字段值从关联表查出数据并进行leftjoin,最后把合并的数据输出到目标表。
首先先在离线数据集成新建一个etl流程:
以上便是通过ETLCloud做数据监听的示例,如果源表和目标表的结构一致,我们可以选择监听器的直接传输方式,但当源表与目标表的结构不一致的情况下,可以使用传输到etl流程的方式,并在etl流程配置数据处理的流程。如果源表变更的数据量太大,平台处理速率跟不上的情况还可以选传输到kafka的方式,将变更的数据传到kafka里面再进行消费。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70005218/viewspace-3093560/
,如需转载,请注明出处,否则将追究法律责任。