ITPub博客

首页 > 数据库 > > 开源大数据比对平台(dataCompare)的建设和实践

开源大数据比对平台(dataCompare)的建设和实践

作者:安全频道 时间:2023-03-24 14:47:09 0 删除 编辑

直播简介


内容简介:

dataCompare主要是大数据比对平台,主要作用如下

(1)采用界面交互、勾选的方式或者低代码的方式即可实现自动化数据校验对比,避免复杂SQL调试

(2)建立一套统一的数据校验标准,避免不同开发同学选取的标准不一致,比如:量级对比、一致性对比

(3)提升数据团队的验数比对效率,至少提升50%左右

目前已经支持如下功能:

(1)界面级交互数据对比任务配置,低代码少量配置快速生成对比任务

(2)量级对比、一致性对比、自动化差异case发现

(3)目前已经支持MySQL、Hive、Doris 等JDBC 数据库

(4)设置定时任务自动进行数据校验并发送校验报告


讲师介绍:

段小秋, 前京东、BAT 程序员,在大数据领域有多年实践经验,喜欢以网名(诸葛子房)在工作之余写一些文章总结,博客地址:http://blog.itpub.net/70026737/


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31545812/viewspace-3155563/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-09-19

  • 博文量
    372
  • 访问量
    479288