ITPub博客

首页 > IT基础架构 > 服务器存储 > 使用 Amazon Application Recovery Controller Region Switch 和集中式入口控制实现自助式区域故障转移 | Amazon Web Services

使用 Amazon Application Recovery Controller Region Switch 和集中式入口控制实现自助式区域故障转移 | Amazon Web Services

服务器存储 作者:ITPUB社群 时间:1970-01-01 08:33:46 0 删除 编辑

在金融服务、医疗保健和政府等高度监管的行业中,安全性不容妥协。合规框架要求采用纵深防御策略,即根据安全策略检查传入请求,确认其在到达应用程序之前是安全的。

组织通常通过实施集中式入口代理集群来解决这一挑战:这些经过强化的入口点可在数百个应用程序之间强制执行一致的身份验证、授权、威胁检测和审计日志记录。

对于使用区域服务且需要运行多区域灾难恢复(DR)策略的关键应用程序而言,这带来了一个挑战。这些应用程序必须定期展示故障转移能力,不仅是为了证明 DR 有效,还要满足审计人员对经过测试、可重复的恢复流程的期望。然而,在集中式入口控制到位的情况下,负责恢复时间目标(RTO)承诺的团队往往无法独立执行故障转移。他们依赖于集中式基础设施团队,而后者可能同时处理许多类似的请求。这引入了协调开销,延长了恢复时间,并与“你构建它,你运行它”的 DevOps 原则相冲突。将其扩展到数十个相互依赖的应用程序,问题会进一步加剧。单个团队的恢复是必要的,但如果没有协调的组合级故障转移,企业仍然面临风险。

挑战不在于是否实施纵深防御(这是不容妥协的),而在于如何在集中式企业入口控制的约束下保持应用程序团队的自主性、支持自助式故障转移,并最终在整个组合中编排协调一致的恢复。

在本文中,我们展示受监管企业中的应用程序团队如何使用 Amazon Application Recovery Controller(ARC)Region Switch 执行自助式区域故障转移,即使是在集中管理的入口代理集群之后运行。该模式使用 AWS Transit Gateway 对等连接、Amazon Route 53 私有托管区域以及(可选的)Amazon VPC Lattice 来维持安全控制,同时在 DR 事件期间消除跨团队协调。然后,我们演示一个中央父计划如何运行每个应用程序团队的子计划(通过 AWS Resource Access Manager(AWS RAM)共享),以支持协调的组合级故障转移。单个中央操作按依赖顺序在整个企业中运行相关计划,提供确定性的、完全自动化的恢复编排,取代当今 DR 手册中的手动协调。

为什么选择 ARC Region Switch?

Amazon Application Recovery Controller Region Switch 于 2025 年 8 月推出,专为灾难恢复编排而构建。自定义脚本和自建自动化必须独立构建、测试和维护,通常跨多个 AWS 区域,且无法保证同步。Region Switch 是一个完全托管、高可用的故障转移编排器,消除了 DR 操作中无差别的繁重工作。

有效的企业应用程序灾难恢复编排必须克服三个常见挑战。下表描述了每个挑战以及 Region Switch 如何应对。

| DR 挑战 | ARC Region Switch 如何应对 |
| --- | --- |
| 配置漂移。几个月前编写的恢复计划可能已不再匹配其所保护的环境。权限变更、资源重命名、备用容量缩减,而团队往往在故障转移过程中才发现问题。 | 计划评估。Region Switch 每小时多次自动评估计划的配置、AWS Identity and Access Management(IAM)权限和资源就绪状态,在问题阻碍恢复之前将其暴露出来。警告在控制台上可见,并可通过 Amazon EventBridge 或 API(应用程序编程接口) 获取。 |
| 检测和决策缓慢。在真实事件中,时间浪费在发现问题、召集合适人员和同意故障转移上。所有这些都会增加您的 RTO。 | 自动触发。计划可由 Amazon CloudWatch 告警自动启动,从有效 RTO 中消除检测时间和决策时间。希望设置人工检查点的团队可以添加手动审批步骤。 |
| 跨区域漂移的恢复逻辑。多步骤恢复通常为每个区域单独编写脚本。脚本逐渐分化,难以审查,并在最终需要时静默失败。 | 代码化恢复工作流。计划可通过 AWS CloudFormation、CLI 和 API 完全代码化,因此可以进行版本控制,并与应用程序一起通过现有的持续集成和持续交付(CI/CD)管道部署。可视化 Workflow Builder 帮助团队设计和修改恢复步骤,并能够将配置导出回基础设施即代码(IaC)管道。 |

Region Switch 计划不绑定到单个区域。其执行引擎在每个区域独立运行,使故障转移编排器处于其所响应的故障影响范围之外。

解决方案:使用 ARC Region Switch 实现自助式区域故障转移

应用团队在 ARC Region Switch Workflow Builder 中创建计划,其中包含特定任务的执行块:处理故障转移活动不同方面的自动化步骤。一个典型的计划可能包含执行块,用于提升数据库只读副本、扩展计算资源(Amazon Elastic Compute Cloud (Amazon EC2) Auto Scaling 组、EKS Pod 或 ECS 任务)、操作 Route 53 运行状况检查以重定向流量,以及调用自定义 AWS Lambda 函数以实现应用特定逻辑。

当团队运行 Region Switch 计划时,无论是用于灾难恢复(DR)测试还是在实际事件期间,ARC 都会从恢复区域自动运行此工作流,编排整个故障转移序列,无需应用团队手动干预。

图 1:ARC Region Switch 从恢复区域运行计划的执行块以编排故障转移

要了解 ARC Region Switch 如何在集中式入口控制的约束下支持这种自助服务能力,我们需要检查底层基础设施。该架构依赖于共享责任模型,其中基础设施团队和应用团队各自控制堆栈的不同层,创建清晰的边界,在保持安全性的同时支持运营独立性。

构建基础:集中式网络与分散式控制

该架构基于两个基础要素:集中管理的 AWS Transit Gateway 和应用团队拥有的 Amazon Route 53 Private Hosted Zone (PHZ)。

图 2:集中管理的 Transit Gateway 与应用团队拥有的 Route 53 Private Hosted Zone

中央基础设施团队拥有并管理两个 AWS 区域中对等连接的 Transit Gateway 基础设施,为每个应用团队账户提供 VPC 连接,以便流量可以从其安全入口代理解决方案流出。应用团队拥有并管理一个 Route 53 PHZ,该 PHZ 与所有四个 VPC 关联:基础设施团队的集中式入口代理队列 VPC 以及应用团队在每个区域中自己的 VPC。此 PHZ 包含一个故障转移记录集,入口代理队列使用该记录集来解析活动应用程序端点。

这建立了一个清晰的技术边界。基础设施团队提供安全的网络基础和 VPC 连接。应用团队控制决定流量流向的域名系统(DNS)记录。在故障转移事件期间,两个团队都不需要与对方协调变更。

了解多区域架构

要了解这些组件如何协同工作,让我们检查完整架构。下图说明了多区域设计,展示了 AWS Global Accelerator、跨区域 AWS Transit Gateway 对等连接、Amazon VPC Lattice 和 Amazon Route 53 Private Hosted Zone 如何结合,通过 Amazon ARC Region Switch 支持自助式故障转移,同时保持集中式安全控制。

图 3:结合 Global Accelerator、Transit Gateway 对等连接、VPC Lattice 和 Route 53 的多区域架构,以支持自助式故障转移

AWS Global Accelerator 为入口代理集群提供静态任播 IP。50/50 的流量权重反映了平台的多租户设计。由于集中式入口代理集群同时为多个应用团队提供服务,它必须能够将流量路由到任一区域中运行的应用,或在两个区域之间进行主动-主动路由。

AWS Global Accelerator 的目标是将流量路由到最近的存在点。如果您的应用在区域 1 中处于活动状态,但消费者距离区域 2 更近,流量会先路由到区域 2 端点,然后通过跨区域 Transit Gateway 对等连接到达活动应用。

架构权衡

这代表一种有意的权衡:接受通过 Transit Gateway 对等连接增加的额外网络跳数,以换取真正的自助式故障转移。如果没有这种跨区域连接,应用团队在故障转移期间将需要与基础设施团队协调,从而重新引入该架构试图消除的协调依赖。

使用 Amazon VPC Lattice 服务网络端点实现细粒度故障转移控制

虽然我们描述的架构支持独立的区域故障转移,但 Amazon VPC Lattice 服务网络端点增加了另一层值得强调的灵活性:对哪些服务进行故障转移的细粒度控制。

每个服务网络端点充当一个整合端点,可以在其后托管多个 VPC Lattice 服务。当您将 Lattice 服务与服务网络端点关联时,它会获得自己唯一的区域 DNS 名称。例如,托管在同一端点后的身份验证服务和支付服务各自获得不同的 DNS 名称。这些按服务划分的 DNS 名称各自映射到 Route 53 私有托管区故障转移记录集,从而为每个服务提供独立的故障转移控制。

图 4:服务网络端点后的每个 VPC Lattice 服务映射到其自己的 Route 53 故障转移记录集

关键优势在于细粒度控制:应用团队可以一次对一个 Lattice 服务进行故障转移,而不必被迫同时切换同一服务网络端点后的所有服务。您可以在本周验证身份验证服务,下周验证支付处理服务,再下周验证库存服务。每个服务在您的 PHZ 中都有自己专用的故障转移记录集,并且每个服务的测试都不会影响仍在主区域中运行的服务。

这种组件级方法所需的运维开销最少,但存在双模态行为的风险,即工作负载在正常条件下与故障模式下表现不同,响应时间或处理过程不同。每个独立故障转移都会增加另一个主动/备用组合,并且当服务调用现在位于另一区域的依赖项时,每个组合都必须容忍跨区域延迟。请将组件设计为能够抵御这种延迟,并测试现实的组合。组件级故障转移最适合有这种信心的团队,因此如果您没有这种信心,较粗粒度的方法可能是更安全的选择。

在运维上,边界保持清晰。基础设施团队的入口代理集群继续通过服务网络端点进行解析,而应用团队通过管理其 PHZ 中每个服务 DNS 记录的健康检查来控制哪些服务在哪个区域中处于活动状态。随着应用的增长,您将新的微服务与现有服务网络端点关联并添加其故障转移记录集,而无需更改基础设施团队的代理配置或 VPC 关联。

注意:虽然本文演示的是以 Amazon VPC Lattice 作为应用程序端点目标的模式,但无论您的应用程序栈如何,同样的责任共担方法都适用。无论您是在 EKS 上运行容器、无服务器函数,还是位于 Application Load Balancer 或 Network Load Balancer 之后的传统 EC2 工作负载,集中式网络与分散式 DNS 控制相结合的基础模式同样适用。

应用程序团队如何独立执行故障转移

当应用程序团队运行其 ARC Region Switch 计划时,流量会在区域之间切换,而无需中央基础设施团队参与。

每个应用程序团队都可以按照自己的节奏独立测试其故障转移能力,测试频率由团队自行决定。这些测试完全独立:一个团队的灾难恢复演练不会影响任何其他团队的服务。如上一节所述,团队应验证已故障转移服务和原地服务在实际场景中的组合,而不仅仅是所有服务都集中在一个区域的基线情况。

故障转移顺序

这一方案的强大之处在于,它是一个单一的编排流程,而不是一组手动步骤。ARC Region Switch 会依次运行每个执行块,验证其已成功完成,然后才管理向下一个执行块的过渡,因此整个顺序以确定性的方式推进,无需在压力下由人工将各个步骤拼接起来。

1. 计划启动。应用程序团队通过 AWS Command Line Interface (AWS CLI) 或 API 运行其 Region Switch 计划,无论是用于计划的灾难恢复测试还是响应真实事件。应用程序团队还可以设置 CloudWatch 告警来自动触发计划,然后以全自动方式运行(无需人工干预),或在工作流中内置手动审批步骤,使团队能够在关键节点控制执行。

图 5:通过 AWS CLI 或 API 启动计划,可选 CloudWatch 告警触发和手动审批步骤

注意:虽然可以通过 AWS 控制台构建和运行计划(在初始测试期间很有用),但对于真实的灾难恢复调用,最佳实践是直接使用 Region Switch API 或 AWS CLI。这可以减少关键路径中的跨服务依赖,并确保恢复执行不依赖于控制台的可用性。

2. 数据库故障转移。第一个执行块启动数据库过渡,将次要区域的数据库提升为主要写入器。ARC Region Switch 支持 Amazon Aurora Global Database、带跨区域只读副本的 RDS 实例以及 Amazon DocumentDB(兼容 MongoDB)集群的切换和故障转移。对于这些之外的数据库,例如 Amazon DynamoDB 全局表,执行块可以调用自定义 Lambda 函数来处理特定服务的故障转移逻辑。

3. 应用程序栈扩容。后续执行块处理应用程序基础设施:在备用区域扩展计算资源(EKS Pod、ECS 任务或 EC2 Auto Scaling 组),并调用 Lambda 函数执行应用程序特定逻辑,例如预热应用程序级缓存,使备用区域不会在冷缓存状态下处理首批请求。这确保备用区域在任何 DNS 变更发生之前已完全准备好处理生产流量。

4. Route 53 健康检查操作。在应用程序栈准备就绪后,ARC Region Switch 通过原生 Route 53 健康检查块将主要区域的健康检查标记为不健康,或通过 ARC 路由控制块切换状态,从而触发 Route 53 的故障转移记录逻辑,将流量重定向到现已就绪的备用区域。您可以在 Region Switch 计划的监控选项卡上查看当前状态。

完成故障转移:当健康检查被标记为不健康后,Route 53 的故障转移机制便会激活。在 DNS 生存时间(TTL)值过期后,入口代理集群的查询将解析到备用区域的端点。基础设施团队无需重新配置代理、更新路由规则或修改 DNS 记录。应用团队通过使用 ARC,借助 PHZ 记录的健康检查状态来控制流量流向。

故障恢复:将流量切回原主区域的工作方式完全相同:您触发故障恢复计划。由于设计是对称的,该计划会扩展原区域、将数据库切换回来,并通过相同的编排流程以相反方向重定向流量。故障恢复与故障转移一样自动化、经过测试且可重复。

有关创建您自己的 ARC Region Switch 计划的更多信息,请参阅服务文档和介绍性博客文章。

从独立恢复到跨组合的协调恢复

上一节描述的模式为每个应用团队提供了独立的故障转移能力。然而在实践中,应用很少孤立存在。支付服务依赖于身份验证服务,客户门户依赖于 API 网关。当相互依赖的应用需要恢复时,它们必须按依赖顺序进行。如果没有机制来协调这一顺序,目前的答案就是让人们在作战室中打电话。

大多数企业在 IT 服务管理(ITSM)工具和 wiki 中记录这些依赖关系,但文档并不等于编排。发现依赖关系图已过时或运行手册失效的最糟糕时刻,就是在重大事件发生期间。

使用 AWS RAM 共享计划进行联合恢复

借助 AWS RAM,您可以跨 AWS 账户共享 Region Switch 计划。每个应用团队从其分支账户共享其计划到一个中心枢纽账户,在那里它被添加为父计划的子计划。使用 Region Switch 计划执行块,父计划将每个子计划作为其工作流中的一个步骤来运行。这在独立拥有的恢复计划之间创建了明确的、可执行的依赖链。

应用团队 A 和应用团队 B 都将它们的计划共享给枢纽。父计划首先运行团队 A 的计划,只有当其成功完成后才运行团队 B 的计划,因此团队 B 仅在其上游依赖项准备好于恢复区域中处理请求后才进行故障转移。

图 6:中心父计划按依赖顺序运行每个团队共享的子计划

这些链可以扩展到整个组合(A,然后 B,然后 C,独立应用并行运行),将完整的依赖关系图建模为单个父计划中的有序步骤。每个子计划仍由其各自团队独立拥有、版本控制和测试。AWS RAM 共享仅管理枢纽对计划的访问权限,而不涉及计划的内容或执行逻辑。

组合级恢复

其结果是确定性的、按依赖关系排序的组合恢复,由单一操作触发。一个中心函数触发父计划,子计划按父计划定义的顺序运行。每个子计划可由其所属团队独立测试,完整的父计划在计划内的灾难恢复(DR)演练中进行端到端演练,从而在压力下真正需要之前就证明协同恢复是有效的。

这解决了一个受监管行业的企业日益频繁提出的问题:“我们如何按下一个大红按钮来达到最小可行业务?”单一的 monolithic 恢复脚本无法奏效,因为没有哪个中心团队了解每个应用程序的恢复需求。父计划和子计划解决了这个问题:每个团队拥有自己的恢复逻辑,并将其作为软件开发生命周期(SDLC)的一部分进行维护,使其与其所保护的应用程序保持同步,而父计划则按正确的顺序运行它们。

恢复后工作流:故障转移之后会发生什么

故障转移并不是故事的终点,而是恢复运营的起点。在流量成功由新的活动区域提供服务后,团队需要运行恢复后工作流,以稳定环境、验证健康状况,并为最终的回切做好准备。Region Switch 通过在主故障转移序列完成后运行的额外执行块来支持这些工作。

验证与健康确认

  • 应用程序健康检查 – 调用 Lambda 函数,对新激活的堆栈运行合成事务,验证 API 响应码和端到端数据流。这衡量的是真实恢复时间:不是计划完成的时间,而是请求真正开始再次成功的时间。

  • 数据完整性验证 – 验证数据库提升是否干净完成,检查复制延迟是否已解决,并确认写入可用性。

  • 依赖验证 – 验证下游服务和第三方集成是否从新区域正确响应。

运营稳定化

  • 扩缩容调整 – 根据实际流量模式,微调 Auto Scaling 期望计数、EKS Horizontal Pod Autoscaler (HPA) 目标或 ECS 副本数。

  • 告警重新配置 – 更新 CloudWatch 告警阈值和通知路由,以反映新的活动区域。

  • 备用环境准备 – 开始将原主区域配置为新的备用环境。

通知与合规报告

对于受监管的企业而言,恢复后文档与故障转移本身同样重要:

  • 自动通知 – 触发 SNS 通知或 Lambda 函数,将完成状态和持续时间指标更新到事件管理系统中。

  • 合规证据 – 生成可供审计的日志,记录故障转移序列:运行了什么、何时运行、影响了哪些资源以及实现的总恢复时间。

  • 利益相关方沟通 – 自动分发确认恢复成功的状态更新。

为回切做准备

恢复后工作流还为最终返回原始主区域奠定了基础:

  • 重新建立复制 – 确认数据库复制正以新方向流动(从新主区域到新备用区域),并监控复制延迟。

  • 备用区域就绪验证 – 确认原主区域健康且已扩展以接受流量,以便在需要故障恢复时准备就绪。

  • 故障恢复计划验证 – 检查故障恢复计划的计划评估状态。Region Switch 每小时自动评估多次,因此任何关于权限、资源或容量的警告都会在您需要回切流量之前可见。

由于这些恢复后步骤定义为同一 Region Switch 计划内的执行块,它们与故障转移本身一样受益于相同的自动化、可见性和 IaC 管理,无需单独的运行手册或手动检查清单。整个生命周期,从初始触发到故障转移、验证、稳定和故障恢复准备,都捕获在一个受版本控制、可重复的单一计划中。

结论:在企业云架构中协调安全与自主性

在受监管行业中,集中式安全控制与应用程序团队自主性之间的紧张关系不能通过选择其一来解决。这是一个需要两者兼顾的架构挑战。具有集中式入口控制的纵深防御策略是不可协商的。但现代云运营要求对可用性负责的团队在关键时刻能够独立行动。

这种使用 Amazon Application Recovery Controller Region Switch 的架构模式提供以下优势:

  • 应用程序团队自主性 – 团队独立运行灾难恢复测试、响应事件并满足 RTO 承诺,无需工单、协调会议或等待。应用程序团队在共享责任模型的护栏内控制其恢复编排。

  • 保持安全态势 – 集中式入口控制保持不变。代理集群继续执行身份验证、授权、威胁检测和审计日志记录。应用程序团队永远不需要访问代理配置。他们只需控制自己的 PHZ 记录。

  • 自动化协调 – Route 53、VPC Lattice 和下游基础设施无需手动干预即可响应 ARC 编排的变更。流量通过更改健康检查状态而非编辑 DNS 记录来转移,因此恢复依赖于高可用的数据平面操作而非控制平面 API,符合 Well-Architected 指南。共享责任边界通过 IAM 策略和 VPC 关联来强制执行,而非手动流程。

  • 联合组合恢复 – 中央父计划按依赖顺序运行每个团队的共享子计划,由单一操作启动。每个团队保留其恢复逻辑的所有权,而 Region Switch 跨组织边界协调执行。在需要人工监督的地方,手动审批执行块可以门控任何步骤,因此自动化永远不会剥夺团队对其自身故障转移的控制权。

由于 ARC Region Switch 完全托管且高度可用,其数据平面在每个区域独立运行,应用程序团队可以相信他们的故障转移编排器在他們最需要时正好在运行。而且由于计划以声明方式定义并可作为 IaC 管理,团队避免了跨区域保持自定义脚本同步的维护负担。

对于在严格合规框架下运营的组织,这种模式提供了一个实用蓝图,可在不损害安全控制的情况下实现灾难恢复现代化。您不必在安全性和敏捷性之间做出选择。您可以同时为两者进行架构设计。

开始使用

如果您的组织运营类似的集中式入口架构并希望支持自助式故障转移:

  • 从小处开始:在可视化 Workflow Builder 中为单个非关键服务创建您的第一个 ARC Region Switch 计划。

  • 定义为 IaC:使用 AWS CloudFormation 或 AWS CLI 导出并管理您的计划,以与您的部署管道集成。

  • 设置自动触发器:配置 CloudWatch 告警以自动启动计划,降低您的有效 RTO。

  • 增量验证:使用 VPC Lattice(或每服务 ALB/NLB 记录)测试单个服务的故障转移,然后再扩展到全栈灾难恢复演练。

  • 测量并迭代:跟踪故障转移持续时间,识别瓶颈,并优化您的执行块。



转载声明:本文为转载整理,原文版权归原作者及原站点所有。

原文来源:AWS Architecture Blog

原创地址:https://aws.amazon.com/blogs/architecture/self-service-regional-failover-with-amazon-application-recovery-controller-region-switch-and-centralized-ingress-controls/

原文作者:Greg Willson;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2022-11-21

  • 博文量
    1307
  • 访问量
    572851