ITPub博客

首页 > 数据库 > 国内数据库 > 【教程直播第 4 期】揭秘数据迁移之 OceanBase CDC & OMS 社区版能力

【教程直播第 4 期】揭秘数据迁移之 OceanBase CDC & OMS 社区版能力

原创 国内数据库 作者:OceanBase数据库 时间:2021-12-15 20:33:43 0 删除 编辑

上周四, OceanBase 社区版直播教程的第三期为我们详细解读了  “如何完成高质量的 OceanBase 数据迁移 ”。

实战第四章:向 OceanBase 数据库迁移数据

https://open.oceanbase.com/blog/8600172

针对上期直播内容,先来一波 前情回顾, 未收看直播的小伙伴也可以参考以下课程笔记——

  • 介绍了 MySQL 迁移 OceanBase 时的表结构迁移以及注意事项。说明:dbcat 表结构转换,是后续开源 OMS 工具的一个组件。

  • 介绍了 MySQLDUMP 常用导出命令和 DataX 常用的读写插件,以及如何使用 MySQLDUMP, DataX 将 MySQL 数据全量同步到 OceanBase。注意,OceanBase 读写插件在默认的二进制 DataX 包里不存在,需要编译安装后创建对应的目录并复制相关的 json 文件, 插件路径:target/datax/datax/plugin/reader[writer]/*reader[*writer]/plugin_job_template.json

  • 介绍了 Canal Server 和 Client 的工作原理,以及如何使用 Canal 将 MySQL 数据增量同步到 OceanBase。


12月16日晚(本周四 ) 19:30, 我 们将会推出 OceanBase 社区版直播教程的第四期。

数据迁移之 OceanBase CDC & OMS 社区版能力介绍


不少人可能都会存在如下的疑问:


  • OceanBase 如何实现将 OceanBase 数据同步到 MySQL 上?


  • OceanBase 支持将 OceanBase 数据同步到 kafka 等其他大数据平台或其他常见关系型数据库上吗?


  • 目前 OceanBase CDC 的能力是否支持反向增量同步?

别怕!本期直播来帮忙!你的困惑“有救 ”了!

提到  OceanBase CDC 能力 ,首先想知道的一定是它能帮我们解决哪些问题,以及我们为什么需要这种能力。此时,可以设想以下几个业务场景,不难感受到其重要性。

  1. 上 OceanBase 容易,下 OceanBase 也容易

    在行业中 有句说法“上云容易下云难 ”,但 OceanBase 不存在这种现象。 用户可以轻易通过 datax , canal ,(以及即将马上开源的 OMS )等功能将 MySQL 数据同步到 OceanBase ,同时 OceanBase CDC 提供将增量日志按事务提交顺序向外透 出,供下游进行消费。 如果数据在迁移到 OceanBase 后,我们还想做一个兜底的方案,OceanBase 可快速将数据同步至 MySQL ,以备回切的需要,让你用的放心。

  2. 一份数据,多维订阅

    使用 MySQL 时,企业内部可能还有大数据分析系统如 kafka 、Flink 等,通过解析 MySQL binlog(如 maxwell ,canal)等可以做到变更下游用户订阅感兴趣的数据表,来获取所需要的分析数据进行处理,不需要把分析流程嵌入到已有系统中,以实现解耦。 现在 OceanBase 也提供了类似的能力,可以打通 OceanBase+oblogproxy+Canal+下游多维订阅者。

  3. 多集群数据同步

    OceanBase 提供“两地三中心 ”或者“三地五中心 ”等部署方案,但在跨地域部署的时候, 网络延迟 是一个不可忽略的问题。对于多数派的日志同步要求,在网络不太理想的情况下,多地部署方案可能并不太合适,企业版里还支持主备库等解决方案。那么在社区版用户中,有没有方法可以解决呢?现在我们可以通过 OceanBase CDC 这种能力自己来搭建多集群之间的数据同步,让我们的数据更有保障。

学完本期课程, 你还将收获 如何将  OceanBase 增量数据同步至 MySQL 或其他大数据平台; 掌握 DataX 调优以及 OceanBase 导数期间内存相关的参数调优。

12月16日晚(本周四 ) 19:30,准时相约 OceanBase 社区版教程官方直播间。一个小时为你聊透将 OceanBase 数据同步到 MySQL 的全场景解决方案!

还在等什么?

赶快 扫码加入直播吧!

钉钉群:32554020

教程惊喜1: 参与问答互动,我们会在直播间现场发放OBCP考试优惠券,助你早日成为分布式数据库专家 ~ 

教程惊喜2: 文章底部 留言,分享你学习课程的心得和体会,小编将选取点赞前5名的读者赠送OBCP考试优惠券~ 


往期推荐:

数据库大赛50强之「华东师范大学」:恰同学少年,代码激扬!

如何完成一次高质量的 OceanBase 数据迁移

数据库大赛50强之「中国人民大学」:培养工程性精英人才,共筑数据库美好未来

OceanBase 源码解读(七): 一文读懂数据库索引实现原理

参与更多技术交流,请至 OceanBase 社区版 。

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69909943/viewspace-2847981/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
欢迎来 OceanBase 开源官网技术切磋 https://open.oceanbase.com/answer

注册时间:2019-02-13

  • 博文量
    579
  • 访问量
    584599