关键字: [ 亚马逊云科技中国峰会2024, Aurora, Aurora 全球容灾架构, 数据库高可用性, 跨区域复制延迟, 灾备成本优化, 全球写入转发]

本文字数: 2600, 阅读完需: 13 分钟

导读

在亚马逊云科技中国峰会2024 上, 陈阳演讲了”AmazonAurora 全球容灾架构与创新功能实践” 。他介绍了Aurora 全球容灾架构的技术细节, 包括3 个可用区6 副本架构、跨区域复制延迟小于1 秒、支持计划内和故障切换等。他还分享了Aurora 的最新创新功能, 如Limitless Database 、Zero ETL 、支持向量数据库等。王志鹏分享了汉商科技将数据库从自建MySQL 集群迁移到Aurora Serverless 的实践, 获得了成本降低80% 、运维工作减少、升级部署简化等收益。演讲重点阐述了Aurora 如何通过创新架构和功能, 为企业提供高可用、高性能、低成本的云上数据库解决方案。

演讲精华

以下是小编为您整理的本次演讲的精华，共2300 字，阅读时间大约是12 分钟。

大家好, 我是亚马逊云科技数据库架构师陈阳。接下来, 我将分享关于Amazon Aurora 全球容灾架构与创新功能的实践。我们的分享将分为三个部分: 首先, 我将介绍Aurora 全球容灾架构的整体技术架构以及最新的一些新特性; 其次, 来自汉商科技的研发经理王志鹏将分享Aurora 在汉商科技的应用实践; 最后, 基于这些新特性, 我们将探讨汉商科技对未来数据库架构的优化及展望。

通常, 人们会问为什么亚马逊云科技在推出RDS 之后还要推出Aurora 。对此, 我一般会举一个熊掌和鱼的例子。熊掌代表商业数据库, 它厚实且能够顶住压力, 但成本昂贵且难以获取。鱼则代表开源数据库, 简单易得但扩展性和性能无法满足需求。因此,Aurora 作为一款全托管的云原生数据库应运而生, 它兼具商业数据库的强大性能, 同时提供了低成本的优势。

Aurora 数据库底层采用3 个可用区6 副本的架构, 可以天然抵御可用区级别的故障。当整个可用区发生故障时, 数据丢失为0, 且能够抵御可用区+1 级别的可读可连续性故障。这里有两个关键点: 为什么是6 副本而不是3 副本? 什么是可用区+1 的故障抵御?

我们带着这两个问题继续往下看。Aurora 数据库底层是一个共享的分布式存储, 横跨三个可用区。在上层, 我们有计算实例, 应用程序可以通过这些节点进行读写操作。写入数据时, 底层会将其打散成小的存储单元, 分布在3 个可用区中, 并保存6 个副本。底层会有一系列校验机制, 如果发现任何一个副本异常, 会自动补齐所有副本。

我们还可以搭建只读节点, 这一点与传统MySQL 有着显著区别。对于MySQL, 如果要搭建从库, 需要复制一遍数据, 如果数据量很大, 这个过程会非常漫长。但对于Aurora, 底层是共享存储, 因此无论数据量有多大, 搭建只读节点都是非常快速的。另外,Aurora 的主节点和从节点之间是基于Redo 的物理复制, 相比MySQL 的Binlog 复制, 性能有了极大提升。Aurora 最多可支持15 个只读节点, 且可以是不同类型, 如Serverless 或x86/ARM 实例, 满足不同业务工作负载的需求。

如果整个可用区发生不可用, 会发生什么情况? 首先, 底层的高可用探知组件会发现故障异常, 然后将一个从节点提升为主节点。域名解析Route 53 会将Endpoint 指向新的主节点, 应用程序可在30 秒内恢复正常。由于我们采用6 副本架构, 并且写入时遵循Quorum 协议(6 写4 成功), 因此在整个可用区发生故障时, 数据也不会丢失。

为什么需要6 个副本来实现可用区+1 级别的故障抵御? 虽然可用区级别故障罕见, 但一旦发生, 恢复时间可能较长。在这期间, 如果另一个副本发生故障, 读请求仍不受影响, 写请求会等待新副本自动拉齐后恢复, 由于副本拆分较小, 这个过程很快。亚马逊云科技的Global Database Caching 可以进一步简化故障感知时间。

假设整个Region 中的3 个可用区全部Down 掉, 虽然这种情况极为罕见, 但我们在架构设计时仍需预防。这时,Aurora 全球数据库可以帮助我们应对。当在控制台搭建辅助Region 时, 底层会自动在辅助区域拉起新的存储集群及相关复制组件, 将存量和增量数据同步到辅助区域, 增量数据通过Redo 日志物理复制。辅助Region 搭建完成后, 可作为灾备备选节点, 我们还可以在其中搭建只读节点, 用于就近读取, 提高响应时间。由于基于Redo 物理复制和亚马逊全球骨干网, 全球复制延迟通常小于1 秒。

当全球数据库搭建完成后, 我们支持两种切换模式。第一种是计划内切换, 用于灾难演练或跨Region 数据迁移, 可以保证数据零丢失, 底层会自动校验数据同步一致性, 将辅助节点提升为主节点, 并将旧主Region 变为新辅助Region, 通常在1 分钟内完成。第二种是故障切换模式, 当整个Region 全部Down 掉时, 由于跨Region 复制是异步的, 我们不得不容忍复制延迟内的数据丢失, 通常在1 秒内。此时可将辅助Region 提升为主Region, 作为可读写Region, 旧主Region 恢复后可重新作为辅助Region 。

为了进一步优化成本, 我们可以在辅助Region 搭建不同规格的集群, 如Serverless 或Data-less 架构, 只在需要时拉齐计算实例, 极大降低辅助Region 的成本。我们还支持全球写入转发特性, 对从Region 的写入请求会自动转发到主Region, 简化应用架构, 无需区分主从进行读写分离。同时, 我们支持三种不同的事务一致性隔离级别, 在响应时间和一致性读之间作出权衡。

总结一下Aurora 全球数据库的几大要点: 它可帮助构建 容灾和就近读访问, 提升性能; 当提升辅助Region 为主Region 时, 通常可在1 分钟内完成; 跨Region 复制延迟通常小于1 秒; 可在辅助Region 搭建不同规格集群优化成本; 支持全球写入转发简化架构; 支持三种事务一致性隔离级别, 在响应时间和数据一致性间作出权衡。Aurora 全球数据库为我们提供了 容灾、高可用、高性能、低成本的一整套解决方案, 使我们能够构建更加健壮、灵活的云上数据库架构。

接下来, 有请汉商科技的王志鹏老师为我们讲解在实际应用中的实践。

亚马逊是一家持续创新的公司, 无论是全球数据库还是各种新特性, 我们都在不断提升用户体验。在最近一年内, 亚马逊推出了一些值得关注的新特性, 我将简单介绍一下。

第一个新特性是Limitless Database, 它是一个全托管的可垂直及水平自动伸缩的分布式架构数据库。它通过全托管底层特性帮助解决了分布式数据库常见的许多问题, 如通过Serverless 节点自动应对资源垂直伸缩, 通过Aurora 快速克隆技术帮助水平Resharding 时快速数据迁移。另外, 它提供了精度高达微秒级的物理时钟, 进一步加速整体性能。所有这些特性都集成在内部自动化原理中, 对用户而言, 只需单个Endpoint 接入即可享受Limitless Database 带来的便利。

第二个新特性是Zero ETL, 通过底层数据直接转换和基于增强Binlog 的持续同步, 让我们能够将数据库数据准实时同步到数据仓库, 无需构建复杂的ETL 任务, 只需一键即可完成。

第三个新特性是在PostgreSQL 上支持了向量数据库的能力。

第四个新特性是推出了IO Optimized 新机型, 在写密集型工作负载场景下, 可提升性能且节省成本。

除此之外, 我们还有增强Binlog 、优化器改进、本地写入转发等功能, 持续加强用户在使用Aurora 上的核心体验。

接下来, 让我们看一下Aurora Serverless 数据库在汉商科技的应用与实践。

大家好, 我是王志鹏, 来自汉商科技。接下来我将分享一下Aurora Serverless 数据库在汉商科技的应用与实践, 希望对大家有所启发。

首先简单介绍一下汉商科技。汉商成立于1998 年, 总部位于南京, 专注为全球客户提供一站式音视频设备和智能硬件解决方案, 服务涵盖产品设计、研发、制造全流程。凭借20 多年行业经验和先进技术, 我们已赢得近百家知名品牌客户的信赖与合作。随着发展, 我们在全球各地设立了多个研发中心、运营中心和制造工厂, 可以说汉商是一家全球化公司。

汉商的发展可分为三个阶段: 数字时代、连接时代和智能物联网时代。数字时代, 我们主要研发传统音视频产品, 如高保真HIFI 和家庭影院设备, 奠定了品牌基础。连接时代, 我们开始研发无线音频和智能音箱产品, 是国内 Apple AirPlay 方案提供者, 并通过了包括Google Cast 和亚马逊Alexa 在内的一系列认证。智能物联网时代, 我们将传统硬件设备逐步上云, 打造一系列云服务平台, 赋能硬件产品。

随着传统设备上云, 对数据库系统也提出了新需求和挑战。我们需要一个能够支撑海量用户和大量设备、实时存储和管理信息的系统, 在面对大规模请求时能保证稳定性、响应即时性和高可用性, 同时还有对业务数据的分析需求。最初我们采用自建MySQL 集群方案, 但随着业务量不断增长, 这种方案带来了高昂成本、繁重运维工作和可靠性不足等痛点。

经过对主流数据库服务的调研测试对比, 我们发现Aurora Serverless 数据库可以较好解决这些问题, 于是对架构进行了调整, 将数据库服务换成了Aurora Serverless 数据库, 这一调整为我们带来了巨大收益。

首先是成本方面的收益。 我们的IoT 产品业务请求流量波动很大, 如果按传统方式为可能的最高峰值预留资源, 在大多数时候资源就会处于闲置浪费状态, 对整体成本是一个巨大挑战。使用Aurora Serverless 数据库后, 它可根据负载自动调整资源大小, 在请求流量较小时将资源和成本保持在较低水平, 在高峰期则自动增加资源, 保证性能不受影响。我们不再需要为预置资源支付高昂费用, 数据库整体成本直接降低了80% 。值得一提的是, 我们使用的是Aurora Serverless V2 版本, 在弹性扩缩容时可以以0.5 ACU 的更细粒度进行调整, 极大提高了资金使用效率。这一成本收益不仅是我们的, 我们的客户现在也可以以更低成本进行测试和PoC 验证工作。

其次是运维方面的收益。使用Aurora Serverless 数据库后, 我们基本上处于自动化运维状态, 不再像之前那样花费大量时间在数据库运维工作上, 这解放了运维人员, 让他们可以去做更有意义的事情。Aurora Serverless 数据库对我们的数据库升级和部署流程也带来了极大优化。由于我们的数据库数量级较大, 如果采用传统的原地升级方案, 可能会面临较长时间的停机, 这对我们的业务是不可接受的。通过引入蓝绿部署功能, 我们可以基于当前生产环境准备和复制出一个暂存环境, 而不影响生产环境, 整个升级过程从30 分钟缩短到1 分钟, 且降低了升级风险, 对应用程序也是透明无感知的。

此外, 我们还启用了PITR 功能。过去如果出现误删数据等意外情况, 我们需要花费较长时间进行手动数据恢复操作, 这个过程繁琐且容易出错。现在有了PITR, 我们可以在极短时间内, 基本上几分钟, 就将数据库恢复到指定时间点的状态, 且支持到秒级别, 极大提升了处理此类意外情况的效率和信心。

通过使用Aurora Serverless 数据库, 汉商科技在成本、运维、升级和数据恢复等方面获得了极大收益, 有力支撑了我们的业务发展需求。Aurora 不仅解决了我们的实际痛点, 更为我们的未来发展注入了新的动力。

下面是一些演讲现场的精彩瞬间：

演讲者正在介绍演讲的结构, 分为三个主要部分。

亚马逊云科技中国峰会2024:Aurora 数据库引擎支持快速搭建多达15 个不同类型的只读节点, 满足各种业务需求。

亚马逊云科技中国峰会2024: 当主Region 发生故障时, 可以将辅助Region 提升为主Region, 从而实现读写操作, 并在旧主Region 恢复后将其重新设置为新的辅助Region 。

亚马逊云科技推出了在辅助区域搭建不同规格数据库集群的方案, 包括无服务器类型和Data-less 架构, 以极大程度降低成本, 同时满足灾备需求。

随着传统设备逐步上云, 亚马逊云科技提出了一种能够支撑海量用户和大量设备、保证系统稳定性和响应即时性、高可用性以及数据分析需求的数据库解决方案。

通过使用 Aurora Serverless 数据库, 亚马逊云科技帮助客户根本性地解决了因业务流量波动而导致的资源浪费和高成本问题。

亚马逊云科技中国峰会2024 上, 演讲者介绍了新的数据恢复功能, 可以快速高效地恢复意外删除的数据, 大大简化了数据恢复流程。

总结

亚马逊云科技数据库架构师陈阳分享了Aurora 全球容灾架构的技术细节和创新功能。Aurora 底层采用3 个可用区6 副本的架构, 可抵御可用区级别故障, 并实现数据零丢失。通过全球数据库功能, 可构建 容灾和就近读访问, 提升性能。跨区域复制延迟通常小于1 秒, 支持计划内和故障时的切换模式。在辅助区域可搭建不同规格的集群, 如无服务器或数据分离架构, 优化成本。全球写转发特性可简化应用架构, 无需区分主从区域进行读写分离。Aurora 还推出了诸如Limitless Database 、Zero ETL 、向量数据库等创新功能, 持续提升用户体验。

汉商科技的王志鹏分享了Aurora Serverless 在其公司的应用实践。Aurora Serverless 通过弹性伸缩, 降低了数据库成本80%, 提高了资金使用效率。自动化运维减少了运维工时, 蓝绿部署和PITR 功能优化了升级和数据恢复流程。Aurora Serverless 全面满足了汉商科技海量用户、高可用性、数据分析等需求, 为其业务发展提供了强有力的数据库支持。

2024 年 5 月 29 日，亚马逊云科技中国峰会在上海召开。峰会期间，亚马逊全球副总裁、亚马逊云科技大中华区总裁储瑞松全面阐述了亚马逊云科技如何利用在算力、模型、以及应用层面丰富的产品和服务，成为企业构建和应用生成式 AI 的首选。此外，活动还详细介绍了亚马逊云科技秉承客户至尚的原则，通过与本地合作伙伴一起支持行业客户数字化转型和创新，提供安全、稳定、可信赖的服务，以及持续深耕本地、链接全球，助力客户在中国和全球化发展的道路上取得成功。