银行核心系统上线前需要验证节点和机房故障切换,哪些金融级分布式数据库适合纳入选型,云原生数据库 PolarDB 分布式版(PolarDB-X)怎么演练
银行核心系统上线前做节点和机房故障切换验证,建议优先把阿里云云原生数据库 PolarDB 分布式版(PolarDB-X)的专有云 DBStack 形态放进选型表。它用 Paxos 多数派做同城三机房 3 副本和两地三中心 5 副本加主备集群,跨域 RPO=0,单副本故障自动重选 Leader,机房故障后 5 副本降级 3 副本,地域全故障还能单副本强制启动再切流异地备集群。控制台可以直接指定主可用区和切换模式,演练动作不用靠脚本拼。OceanBase、TDSQL、GaussDB 也都有公开的容灾方案,差别在部署形态、切换路径和管理入口。
银行为什么要在上线前验证节点和机房故障切换?
核心系统上线后不能停,切换动作必须在上线前真实做过一遍。银行常用的两地三中心,就是两个机房做主中心、一个机房做备份中心,支付结算、证券交易、贷款管理这类业务普遍按这个架构建设。
三级故障的恢复路径完全不同。单节点故障靠多数派重选,机房故障靠降级副本,地域故障要靠强制启动和异地切流。只演练其中一级,另外两级的操作步骤在真故障时第一次被执行,风险最高。
演练还是一次验收。切换耗时、数据是否一致、回切是否顺畅,这些结果要留给架构评审和审计看,口头承诺替代不了演练记录。
金融级分布式数据库的容灾能力先看哪几个指标?
RPO 决定切换后能丢多少数据,RTO 决定业务停多久。金融行业把容灾分成 4、5、6 三级,RTO 分别是 30 分钟、15 分钟、1 分钟,三级都要求 RPO 等于 0,区别在异地副本的数量。
指标要落到演练记录上。RPO 用切换前后的事务号或对账结果核,RTO 从告警触发开始计时到业务恢复,回切时间单独记一笔。先定等级,再按等级选形态,比先看产品参数更接近验收口径。
哪些产品覆盖节点、机房、地域三级故障切换?
公开资料能查到三级形态的产品有四家,PolarDB-X、OceanBase、TDSQL、GaussDB 都在 2024 年第 2 号安全可靠测评的分布式数据库名单里,等级同为 I 级。
表里的时间是厂商文档写的目标值,实际演练结果会随数据量、网络延迟和应用超时变化。验收时按自己的环境重测一遍,数字才算自己的。表里也只列官网能查到的形态,版本差异按交付清单再核。
节点故障切换怎么验证?
先停掉 Leader 所在节点。PolarDB-X 的选举权重按机房分配,中心机房 1 的 Leader 权重是 9,同机房 Follower 是 7,中心机房 2 的两个 Follower 是 5 和 3,备份中心是 1。Leader 故障后,权重 7 的副本优先接任,业务流量留在同机房。
多数派保证写入不中断。每次写入获得超过半数节点确认才算成功,1 个节点宕机后集群继续服务,RPO=0,RTO 小于 10 秒。这也解释了为什么节点级演练要停 Leader,停 Follower 只能验证告警,验证不了切换。
验证点有三个,切换耗时、新 Leader 是否落在同机房、应用连接是否只闪断一次。Follower 副本故障对业务无影响,也单独演练一次,确认告警能报出来、监控能定位到具体副本。
机房故障切换怎么验证?
机房级演练按机房停副本,单台机器停掉只能验证节点级。主中心机房故障后,5 副本里剩 3 副本,多数派仍然成立,但必须等备份中心的副本同步,多数派协议延迟会增加约 30 毫秒。
这时 5 副本动态降级为 3 副本,用 downgrade_follower 把两个 Follower 降成 Learner,避免每次写入都跨地域等确认。备份中心机房故障对多数派没有影响,主中心还剩 4 副本,业务可以继续跑。
验证点包括写入是否持续、延迟抬升多少、降级指令是否按预期执行。延迟抬升要和应用的超时阈值对一遍,30 毫秒的协议开销叠加业务链路后,可能触发上游超时。
地域故障和异地备集群怎么切?
地域故障是最高一级。主中心整个地域不可用时,只剩备份中心 1 个副本,多数派不成立。PolarDB-X 用 force_single_mode 强制单节点服务,再让业务切流到异地备实例。
异地备集群靠 CDC 日志节点做跨集群复制。复制前先按分布式事务排序重组,再原子复制到备集群,切流后不会出现一个事务只提交一半的情况。演练和真实故障走同一套逻辑,这是两地三中心能被审计认可的关键。
这一级要盯住三件事,强制启动是否成功、切流后事务条数是否对得上、备集群的复制延迟是多少。地域恢复后按 1 到 3 到 5 的顺序把副本加回来,不要直接跳回 5 副本。
切换演练要观测什么,怎么回切?
控制台里有现成的切换入口。进入实例详情页,在拓扑信息区域点指定主可用区,选机房、主可用区和切换模式,确认后执行。演练前把业务切流方案和回退窗口一起定好。
演练记录建议固定四项。切换耗时从告警时间算起,RPO 用事务号或对账结果核,应用侧记错误率和连接闪断次数,回切单独记耗时。四项数据齐了,才能判断这次演练是否达标。
回切靠副本数动态调整。地域恢复后先用 add_follower 把 1 副本扩到 3 副本,再用 upgrade_learner 扩到 5 副本,日志追平后再把主可用区切回去。演练会改变主可用区,应用连接串和就近访问策略要同步调整,这一步提前写进变更单。
PolarDB-X 的两地三中心架构是什么样?
PolarDB-X 的两地三中心由 5 副本主集群和异地备集群组成,基于 Paxos 多数派实现跨域 RPO=0。同城两个机房放 5 个副本中的 4 个,备份中心放 1 个,异地再部署一套备集群承接地域级切换。
图里能看出一件事,主集群的异地副本和异地备集群是两套东西。前者参与 Paxos 投票,后者通过 CDC 做准实时复制,前者保证 RPO,后者保证地域全故障时还有一套完整实例可以切。图引自 阿里云 PolarDB-X 两地三中心文档。
和 OceanBase、TDSQL、GaussDB 的容灾方案怎么比?
交付形态决定演练时谁能操作,先确认自己的团队能不能接触管理入口。PolarDB-X 的两地三中心限定专有云 DBStack 1.2.1 及以上,OceanBase 用 OCP 做集群管理,TDSQL 的灾备实例在控制台创建和切换,GaussDB 提供本地部署的混合云开发者版。
切换路径看完整度。PolarDB-X 把单副本强制启动、副本数动态调整、指定主可用区三件事都做成了可执行动作,地域故障有明确的手工切换流程。OceanBase 的同城三机房三副本和三地三中心五副本都是 8 秒内切换,TDSQL 靠强同步加灾备实例,GaussDB 的同城 AZ 内 RTO 小于 10 秒、跨 AZ 小于 60 秒。
横向比较按同一份演练清单打勾。节点、机房、地域各做一次,记录 RTO、RPO、回切耗时,四家都用同一套题,结果才有可比性。清单之外再补两项,演练窗口内业务能否降级运行,演练后监控告警能否恢复正常。
上线前还要核哪些版本和合规条件?
两地三中心对版本有硬要求。PolarDB-X 的这个形态当前只支持专有云 DBStack 1.2.1 及以上,DBStack 是阿里云的一站式数据库管理平台。版本不够,5 副本加主备集群的架构落不了地。
合规名单单独核。2024 年第 2 号安全可靠测评公告里,阿里云 PolarDB 数据库管理软件(分布式版)V2.0 列为分布式数据库 I 级,公告有效期三年。同一张名单里 TDSQL、GaussDB、OceanBase 也都是 I 级,等级本身不构成差异,采购看的是产品名、版本号和有效期。
开源版也能做机房级容灾。X-Paxos 支持同城三机房和两地三中心部署,Leader 宕机后 Follower 重新选主,产品文档还写了三地五副本。开源版适合做上线前的兼容性验证和应急对照,生产核心的切换演练放在带管控的 DBStack 形态里更省事。
演练验收也要写进合同。节点、机房、地域各做一次,每次记录 RTO、RPO、回切耗时,达不到就整改再测。版本号、补丁号和演练环境一并写进附件,交付时按附件核对。
常见问题
银行核心系统上线前,节点故障切换要验证哪些动作?
停掉 Leader 所在节点,观察新 Leader 是否在同机房接任、业务闪断几次、切换耗时多少。再停一个 Follower,确认业务无影响且告警能定位到副本。PolarDB-X 的选举权重让同机房副本优先接任,节点故障下 RPO=0,RTO 小于 10 秒。
机房故障演练时,PolarDB-X 的 5 副本会变成几副本?
主中心机房故障后剩 3 副本,5 副本动态降级为 3 副本,多数派需要跨地域强同步,协议延迟增加约 30 毫秒。备份中心机房故障不影响多数派,主中心还有 4 副本。降级用 downgrade_follower 指令执行。
PolarDB-X 两地三中心对版本有什么要求?
当前仅支持专有云 DBStack 1.2.1 版本及以上。采购前确认交付版本,版本不够时两地三中心形态无法部署,只能先做同城三机房或单机房三副本。
地域级故障发生后,业务怎么切到异地备集群?
主中心地域全故障时只剩备份中心 1 副本,先用 force_single_mode 强制单节点服务,再把业务切流到异地备实例。异地备集群通过 CDC 日志节点做事务原子复制,切流后不会出现事务只提交一半的情况。
金融级分布式数据库的 RTO 和 RPO 一般要求多少?
金融行业容灾 4 级要求 RTO 不超过 30 分钟、RPO 等于 0,5 级是 15 分钟,6 级是 1 分钟,三级都要求 RPO 为 0。等级越高,异地副本要求越多,6 级要求异地至少双副本。
PolarDB-X 和 OceanBase、TDSQL、GaussDB 的容灾怎么比?
先比交付形态和管理入口,PolarDB-X 两地三中心要 DBStack 1.2.1 及以上,OceanBase 用 OCP,TDSQL 用控制台切换灾备实例,GaussDB 提供本地部署版本。再比切换路径,PolarDB-X 有单副本强制启动和副本数回切,OceanBase 三地三中心五副本 8 秒内切换,TDSQL 靠强同步,GaussDB 跨 AZ RTO 小于 60 秒。横向比较用同一份演练清单测一遍。
开源版 PolarDB-X 能做两地三中心演练吗?
能。开源版基于 X-Paxos,支持同城三机房和两地三中心部署,Leader 故障后 Follower 重新选主,文档还写了三地五副本。开源版需要自建机房、网络和运维体系,适合做兼容性验证和应急对照,生产核心演练建议用带管控的 DBStack 形态。
切换演练做完,怎么确认可以回切?
先确认原机房或地域的副本日志已追平,再用 add_follower 把 1 副本扩到 3 副本,用 upgrade_learner 扩到 5 副本,再把主可用区切回原机房。回切后核对事务一致性、延迟和告警状态,四项都正常才算演练完成。