近日，在2020中国系统架构师大会上，腾讯云数据库技术负责人雷海林围绕腾讯云数据库异构多源同步迁移技术方案进行了分享。“数据库未来一定是向分布式方向发展，数据库核动力升级的时代即将到来。”雷海林表示。

## Part1 国产化巨浪加速

从计算机出现开始，在各行各业的电子化发展过程中，传统关系型数据库都发挥着至关重要的作用，成为银行、保险、证券、政务、医疗等各行业电子系统的核心基础软件系统。

而随着云计算、数字互联网等新一代技术变迁，近年来关系型数据库也随之发生变革，形成了从以国外商业数据库为代表的传统集中式数据库，向以国内科技巨头研发沉淀的分布式数据库转变的趋势浪潮，以实现全行业技术的分布式转型升级。国外传统集中式数据库，性能瓶颈明显、成本消耗巨大，而基于云计算时代的弹性可扩展分布式数据库，具备高性能低成本、弹性伸缩等优势。从集中式向分布式迁移，好比柴油动力终将为核动力所替换。

对于国内产业机构而言，实现核心技术安全可控、降本增效也成为了产业升级下刻不容缓需要实施变革的问题。随着近年来相关政府监管部门连续出 台重要指导政策，企业数据库摆脱国外数据库依赖、从国外传统集中式数据库向基于国产分布式数据库迁移上云成为大势所趋。国际权威咨询机构Gartner在最新数据库行业研究报告中指出，预计到2021年，云数据库在整个数据库市场中的占比将首次达到50%；而到2023年，75%的数据库要跑在云平台之上。

然而，由于数据库关系数据安全命脉、迁移成本以及技术复杂程度高、新目标数据库难以选型等问题，过去企业数据库国产化进程仍处于逐步探索、推进过程中。腾讯云数据库基于近年来大量丰富的数据库迁移实践，一方面沉淀了完善的云计算分布式数据库产品系列，可适应广泛的企业数据库迁移转型需求，同时沉淀打造出标准成熟、可验证可复用的数据库迁移解决方案——多源异构迁移同步解决方案DBbridge，并将其打造成平台型能力，助力客户实现数据库平稳快速迁移，大幅降低数据库迁移改造成本。

在这样的基础上，行业分布式技术转型乘风破浪，数据库国产化浪潮正加速推进，成为时代技术变革的重要推动。据统计，经过数年的发展，随着数据库底层能力的升级以及智能调度、智能诊断、异构迁移同步等周边能力完善，截至2020年9月，腾讯云数据库服务客户数已经超50万，其中还不乏拥有超过1万个数据库实例的客户的存在，充分证明腾讯云数据库系列产品能力以及数据库迁移同步等服务能力具备领先优势。

## Part2 数据库迁移的痛点

数据库负责所有业务系统的数据存储计算与交易，牵一发而动全一身。同时由于多年来基于生态封闭的传统国外数据库产品，系统兼容性程度复杂。更重要的是，作为系统架构转型的关键支点，数据库迁移一方面可实现安全可控，另一方面是需要帮助企业考虑如何应对在云计算时代未来业务和系统的数字化、多元化发展需求，因此数据库的选型同样至关重要。

由此种种，企业数据库分布式转型、国产化迁移过程中，面临多个痛点。总结起来包括：

1. 迁移成本高，工作量大。人工操作数据库迁移风险较高，迁移周期长，耗费的人力成本较高。

2. 数据库迁移技术复杂。数据库迁移对操作人员的技术水平要求较高，不仅需要掌握源数据库的技术还有懂得目的数据库的技术，并了解数据库之间迁移技术。

3. 异构数据库的兼容程度不好评估。源库迁移到目的数据库的对象兼容程度如何，应用SQL兼容程度如何，迁移改造的风险和难度如何量化评估。

4. 迁移过程无标准化流程。整个迁移过程复用程度低，没有一个标准化的最佳实践方案。

5. 目标数据库选型困难。国产数据库类型较多，无法快速选择适合业务场景的数据库类型。

## Part3 数据库更新迭代快

在对外开放核心技术产品，推动行业数据库及系统技术架构转型升级的产业化实践中，腾讯云数据库基于腾讯联合生态内多年数据库运维和工程师研发经验的技术积累，将海量实例的数据迁移同步经验与技术实践沉淀成DTS-DBbridge数据库迁移平台，为行业提供简单易用的数据库迁移平台。

具体来说，DTS-DBbridge数据库迁移平台以腾讯云数据库多源异构数据迁移同步（MULTISRCSYNC）为技术核心，包含强大的自动化评估和改造工具、标准化的异构数据库迁移流程方案等，从评估、选型、改造、迁移、校验等每个环节，用户都只需通过鼠标即可完成可视化操作，即可以实现高性能、高可用、高可靠的数据库迁移，真正做到便捷、安全、易运维。

同时，腾讯云提供自研的多引擎云原生数据库CynosDB、金融级分布式数据库CynosDB（TDSQL）和分析型数据库CynosDB（Tbase）等完善的数据库产品体系，可满足云计算时代行业对数据库的多种业务场景需求，为企业客户提供完整的数据库迁移改造解决方案。

![DTS-DBbridge解决方案架构](https://obs-emcsapp-public.obs.cn-north-4.myhwclouds.com:443/image%2Feditor%2F4f1ceed4-2c33-495e-ad70-769260089bd1.png)

## Part4 数据库迁移评估与决策

数据库迁移前，DTS-DBbridge平台首先将基于对原数据库的数据分析，并结合企业实际业务规划，进行包括兼容性、复杂度、工作量、迁移耗时等模块数百个指标在内的可行性与最佳方案综合评估，最终产生详尽的迁移报告，以及针对每个企业的技术与业务规划特点，输出个性化数据库整体解决方案。

在评估过程中，例如针对兼容性的评估，可精细化扫描识别哪些兼容、哪些不兼容，不兼容点将根据客户要求评估并形成改造方案。

![image.png](https://obs-emcsapp-public.obs.cn-north-4.myhwclouds.com:443/image%2Feditor%2F5b5e9b25-8132-40c6-b3a7-d2e04712e5bd.png)

## Part5 数据迁移准备与实施

完成评估与决策后，可基于DBbridge实施应用系统与源端数据库，向目标端系统与数据库进行迁移改造。

除了数据库转型升级的场景需求，事实上，为实现数据解耦及汇总的需求，企业日常同时存在基于数据迁移、分发、容灾备份等诉求而进行多源异构迁移。针对以上场景，腾讯云数据库DBbridge具备高性能、高一致、支持多种异构数据平台的数据分发的特性，其支持以腾讯云数据库作为源端的数据实时同步分发至 MySQL、Oracle、PostgreSQL、消息队列等平台，同时也支持以腾讯云数据库作为目标端，将 MySQL 或者 Oracle 的数据实时同步至腾讯云数据库中,并且部署灵活，支持一对多，多对一等多种复制拓扑结构。

多源同步模块典型的基于日志的 CDC 复制技术，其系统架构如下：

![image.png](https://obs-emcsapp-public.obs.cn-north-4.myhwclouds.com:443/image%2Feditor%2F2f9d7372-981e-4a9a-b3f0-5be09c46eb5c.png)

同时，基于高度标准化、平台化的产品服务，DBbridge支持用户可视化便捷操作，完成多源异构数据库之间的结构迁移、增量同步。

![结构迁移流程动图](https://obs-emcsapp-public.obs.cn-north-4.myhwclouds.com:443/image%2Feditor%2Ff9289b27-a329-4e2f-bbc3-1df50b32373d.png)

此外，腾讯云数据库提供完善的服务保障，整体迁移方案采取平稳过渡，在服务交割迁移中，将采取原应用系统和新应用系统并行跑一段时间的措施，测试新应用系统没有问题后，做正式的服务交割。

## Part6 数据库迁移自动化校验

最后，在这一套同步的数据链路过程中，腾讯云DTS-DBbridge同时提供数据校验的服务，以保证多活基础上数据迁移同步的一致性、可靠性。

主要包括两个方面：一是**增量校验**，含义就是会实时校验这一笔数据从源端抽取，到它的增量变化，再到写到目标端之后，这笔数据落库落得准不准确，是不是在正确的目标上写下这笔数据；二是**存量校验**，可能是一些定时定期去跑批，比如说定期对源和目标的数据进行整体的校验，以能够主动及时地发现整个数据通路上的问题和错误。

基于数据同步的跨城双活架构：

![image.png](https://obs-emcsapp-public.obs.cn-north-4.myhwclouds.com:443/image%2Feditor%2F3261de71-26cb-4f5d-bdbb-906430f55f34.png)

首先左边和右边代表不同的城市，这里举例左边是深圳，右边是上海。从图上可以看到，腾讯云CynosDB(TDSQL)在SZ这套实例会将业务不断写入的增量数据源源不断地写入本城的消息队列里面。对城的SH也会将自己业务访问的增量数据源源不断写到消息队列里面，同时在各个城市有一套自己的消费服务，这套消费服务会拉取对端的增量数据，也就是说会拉对城的消息队列里面的增量数据进行重放，这样就实现了两套基于数据同步的一套跨城双活。这个双活是有前提条件的——就是两套业务在SZ和SH同时写的时候，它的访问主键一定是分离，在这一套逻辑下面没有办法做到同时对同一条主键进行修改。

## Part7 数据库迁移高可用多源同步

安全问题是数据库迁移考虑的重中之重。值得一提的是，基于多源同步的方案实践，还能实现数据库迁移中的安全风险控制。因为准实时的数据同步分发与双向数据迁移等性能特性，使得多源同步服务轻松实现了解耦与风险控制，保障系统持续可用。

数据库迁移涉及大量核心数据信息，“快”和“稳”缺一不可。多源同步服务作为腾讯云数据库内置功能特性，在数据库国产化转型实践中久经验证，至今助力超过600家金融政企机构数据库国产化迁移投产。

以某省广电局迁移案例为例，腾讯云多源同步迁移服务通过重新部署业务系统的迁移方式，从迁移准备、迁移评估、方案设计、资源准备及数据库改造、迁移实施、结果验证一共只使用30天。其中最为关键的资源准备及数据库改造环节用时7天！将客户的业务系统数据库从Oracle迁移到CynosDB(TDSQL)，CynosDB(TDSQL)的性能满足了客户面临的现有的业务压力。而业务系统迁移过程中对数据完整性保障，为后续新业务系统运维提供了良好的数据基础。

而在一些金融级高度敏感业务系统迁移实践中，CynosDB(TDSQL)很好地实践了兼顾性能和安全的迁移服务策略。以张家港行核心系统数据库迁移为例，张家港行联合腾讯云及系统建设方长亮科技，充分结合银行传统业务与互联网业务的场景差异，对业务逻辑进行重新设计，以完成新一代核心系统应用兼容性改造和数据库升级优化。同时，依托腾讯云提供的异构数据库同步方案，三方还实施了CynosDB(TDSQL)和集中式数据库数据准实时同步的策略，作为兜底方案。值得一提的是，这个双版本同步兜底方案，最终无需派上用场，新核心系统系统平稳上线，顺利投产。

ITPub博客

有了它，数据库也能空中加油，一边迁移一边跑起来

最新文章