ITPub博客

Kafka Connect是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具，可以更快捷和简单地将大量数据集合移入和移出Kafka的连接器。Kafka Connect为DataPipeline提供了一个相对成熟稳定的基础框架，还提供了一些开箱即用的工具，大大地降低研发的投入和提升应用的质量。

什么是数据集成？最简单的应用场景就是：一个数据源，一个数据目的地，数据目的地可以是个数据仓库，把关系型数据库的数据同步到数据仓库里，就形成了一次数据集成。

DataPipeline已经完成了很多优化和提升工作，可以很好地解决当前企业数据集成面临的很多核心难题。