11. 一种基于kafka增量数据校验的方案
摘要
在文章《针对大数据量表的MD5校验方式介绍》中我介绍了一种针对数据量较大表的基于md5的全量校验方式，全量数据校验的方式会存在如下弊端：1）每次校验必须停止增量同步，若不停止增量同步，数据校验结果将不准确2）冷数据重复校验，无意义3）校验时间较长，无法快速定位数据差异综上，我们需要解决的问题就是能够快速校验两个表之间的差异，这其中的关键点就是捕捉并校验那部分存在变化的数据。在前面的文章我也有提过基
请登录后发表评论
登录
全部评论
ORACLE迁移MYSQL实践笔记
- 目录
- 0.去O过程实践笔记-前言
- 7. 关于数据一致性校验方案
- 11. 一种基于kafka增量数据校验的方案
- 8. 基于python开发的数据比对工具--SYDCTOOL介绍
- 1. ORACLE到MYSQL数据迁移方式选型
- 2. 数据库对象结构迁移方法
- 3. 使用OGG实现全量和增量迁移
- 4. OGG问题解决整理（中文乱码、mysql端语法错误、XA事务问题等持续更新）
- 5. 基于OGG单表到分库分表数据同步场景
- 6. 使用nvicat和kettle进行全量迁移
- 9 基于python开发的数据比对工具--SYDCTOOL代码设计解读
- 10. 针对大数据量表的MD5校验方式介绍
- 12. ORACLE移植到MYSQL改造注意要点
- 13. MYSQL分库分表实践
- 14. ORACLE到MYSQL上线切换方式
