ITPub博客

首页 > 数据库 > 数据库开发技术 > openGauss学习笔记-62 openGauss 数据库管理-两地三中心跨Region容灾

openGauss学习笔记-62 openGauss 数据库管理-两地三中心跨Region容灾

原创 数据库开发技术 作者:shuchaoyang 时间:2023-06-01 07:00:00 0 删除 编辑

openGauss学习笔记-62 openGauss 数据库管理-两地三中心跨Region容灾62.1 基于流式复制的异地容灾解决方案62.1.1 概述62.1.2 规格与约束62.1.2.1 特性规格62.1.2.2 特性约束62.1.3 影响容灾性能指标的GUC参数设置62.1.3.1 检查点相关参数设置的影响62.1.3.2 极致RTO相关参数设置的影响62.1.4 基本操作62.1.4.1 容灾搭建62.1.4.1.1 容灾搭建前主数据库实例业务负载评估62.1.4.1.2 容灾搭建调用接口62.1.4.2 灾备数据库实例升主failover62.1.4.3 主数据库实例容灾信息清除62.1.4.4 计划内倒换switchover62.1.4.5 查询主备数据库实例容灾状态62.1.4.6 容灾状态下主备数据库实例升级62.1.4.6.1 大版本升级62.1.4.6.2 小版本升级62.2 故障处理62.2.1 容灾搭建异常62.2.2 灾备升主failover异常62.2.3 计划内倒换switchover异常62.2.4 灾备集群数据库实例故障

openGauss学习笔记-62 openGauss 数据库管理-两地三中心跨Region容灾

要实现跨Region容灾,需要部署两套数据库实例,一套主数据库实例,一套灾备数据库实例。主数据库实例和灾备数据库实例一般部署在相距较远的两个不同城市。数据库实例之间借助存储介质或者不借助存储介质直接实现数据的全量和增量同步。当主数据库实例(即生产数据库实例)出现地域性故障,数据完全无法恢复时。可考虑启用将灾备数据库实例升主,以接管业务。

openGauss当前提供基于流式复制的异地容灾解决方案。

62.1 基于流式复制的异地容灾解决方案

62.1.1 概述

从openGauss 3.1.0版本开始,两地三中心跨Region容灾开始提供该解决方案。

62.1.2 规格与约束

本节就该解决方案的特性规格与约束进行详细描述,管理人员需重点关注。

62.1.2.1 特性规格

  • 主数据库实例或灾备数据库实例内网络时延要求<=10毫秒,主备数据库实例之间异地网络时延要求<=100毫秒。该时延范围内可保证容灾的正常运行,否则会导致主备数据库实例断链等情况出现。

  • 在网络带宽非瓶颈,灾备数据库实例打开并行回放前提下,不同硬件规格可支持主数据库实例日志产生速度如下表所示。在该日志产生速度下可以保证RPO、RTO,否则无法保证。

    表 1 典型配置下日志产生速率

  • 如果磁盘混合部署,应采用低配部分的规格(比如数据库实例内有NVMe和SATA盘,请参考SATA盘配置的规格)。

  • 灾备数据库实例升主:

    • 灾备数据库实例升主允许丢失一定的数据,RPO<=10秒 ;

    • 灾备数据库实例处于normal态,灾备升主RTO<=10分钟,数据库实例处于degraded状态等叠加故障场景下,执行灾备数据库实例升主RTO一般在20分钟以内。

    • 灾备数据库实例为独立数据库实例,无法感知主数据库实例的状态,因此不支持自动升主。第三方应用可通过接口调用触发灾备数据库实例升主,相关操作参见灾备数据库实例升主failover。

  • 演练特性:计划内主备数据库实例倒换,无数据丢失RPO=0,RTO<=20分钟(包含主数据库实例降为灾备实例,灾备数据库实例升主两个流程)。

须知: 经过测试,SATA SSD极限写入速率在240MB/s左右,SAS SSD可以达到500MB/s以上的写入速度,NVMe SSD表现则更为优异。如果硬件条件达不到如上标准,则可支持的主数据库实例单分片日志产生速度应下调,才可保证RPO、RTO。

主备数据库实例出现文件句柄,内存等资源耗尽时,无法保证RPO,RTO。

62.1.2.2 特性约束

  • 搭建容灾关系前,主集群需创建具有流复制权限的容灾用户,用于容灾鉴权,主备集群必须使用相同的容灾用户名和密码,一次容灾搭建后,该用户密码不可修改。若需修改容灾用户名与密码,需要解除容灾,使用新的容灾用户重新进行搭建。容灾用户密码中不可包含以下字符“| ;&$<>`'"{}()[]~*?!\n空白”。

  • 搭建容灾的主备集群版本号必须相同。

  • 流式容灾搭建前不支持已存在首备及级联备。

  • 搭建容灾关系时,如果集群副本数<=2,会设置most_available_sync为on,在容灾解除或者failover后此参数不会恢复初始值,持续保证集群为最大可用模式。

  • 搭建容灾关系时,会设置synchronous_commit为on,解除容灾或failover升主时恢复初始值。

  • 灾备集群可读不可写。

  • 灾备集群通过failover命令升主后,和原主集群灾备关系将失效,需要重新搭建容灾关系。

  • 在主数据库实例和灾备数据库实例处于normal状态时可进行容灾搭建;在主数据库实例处于normal态并且灾备数据库实例已经升主的情况下,主数据库实例可执行容灾解除,其他数据库实例状态不支持。在主数据库实例和灾备数据库实例处于normal状态时,通过计划内switchover命令,主数据库实例可切换为灾备数据库实例,灾备数据库实例可切换为主数据库实例。灾备数据库实例处于非Normal且非Degraded状态时,无法升主,无法作为灾备数据库实例继续提供容灾服务,需要手动修复或重建灾备数据库实例。

  • 灾备集群DN多数派故障或者CMS、DN全故障,无法启动容灾,灾备集群无法升主,无法作为灾备集群,需要重建灾备集群。

  • 主集群如果进行了强切操作,需要重建灾备集群。

  • 主集群和灾备集群都支持gs_probackup工具中的全备和增备。容灾状态下,主集群和灾备集群都不能做恢复。如果主数据库实例要做恢复,需要先解除容灾关系,在完成备份恢复后重新搭建容灾关系。

  • 容灾关系搭建之后,不支持DN实例端口修改。

  • 建立容灾关系的主数据库实例与灾备数据库实例之间不支持GUC参数的同步。

  • 主备集群不支持节点替换、修复、升降副本,DCF模式。

  • 当灾备数据库实例为2副本时,灾备数据库实例在1个副本损坏时,仍可以升主对外提供服务,如果剩余的这个副本也损坏,将导致不可避免的数据丢失。

  • 容灾状态下仅支持灰度升级,且继承原升级约束,容灾状态下升级需要遵循先升级主集群,再升级备集群,再提交备集群,再提交主集群的顺序。

  • 建议对于流式容灾流复制IP的选择,应考虑尽量使集群内的网络平面与跨集群网络平面分离,便于压力分流并提高安全性。

62.1.3 影响容灾性能指标的GUC参数设置

62.1.3.1 检查点相关参数设置的影响

  • 特性规格中描述的容灾性能指标均为检查点相关参数设置默认值情况下测得。

  • 检查点相关参数描述参见《数据库参考》中“GUC参数说明 > 预写式日志 > 检查点”章节。其中"enable_incremental_checkpoint"为on时,设置自动WAL检查点之间的最长时间将由"incremental_checkpoint_timeout"决定,如果不采用默认值并将其改大,将可能导致实例重启时会有大量日志需要回放,进而影响到容灾指标RTO变大,无法达到特性规格。

62.1.3.2 极致RTO相关参数设置的影响

极致RTO相关参数描述参见《数据库参考》中“GUC参数说明 > 预写式日志 > 日志回放“章节的recovery_parse_workers和recovery_redo_workers参数描述。如果要开启极致RTO,应至少满足每台机器上的逻辑CPU数大于打开极致RTO后额外启动的线程数(计算公式为 (recovery_parse_workers * (recovery_redo_workers + 2) + 5) * 每台机器上的DN实例数),否则可能出现线程对CPU资源争抢的情况,导致容灾流程中部分操作耗时变长,无法达到容灾特性规格。

62.1.4 基本操作

62.1.4.1 容灾搭建

62.1.4.1.1 容灾搭建前主数据库实例业务负载评估

数据量:

  • 主数据库实例存储数据量,直接影响容灾搭建需要传输的数据量。该值结合异地网络带宽,直接影响容灾搭建时长,可在搭建容灾接口的"time-out"设置超时时间,当前默认值为20min。超时时间的评估与主数据库实例搭容灾前的数据量与异地可使用带宽相关,计算公式为“数据量/传输速率 = 耗时”。

    例如:主数据库实例有100TB数据,异地数据库实例间可用带宽为512Mbps(传输速率为64MB/s),搭建容灾传递这些数据需要时间为1638400s(10010241024/64,大约19天)。

日志产生速率:

  • 该值影响容灾搭建过程中主数据库实例需要保留在主数据库实例本地的日志量,灾备数据库实例在完成全量数据恢复后将与主数据库实例建立流式复制关系,如果主数据库实例未对日志进行保留,将可能导致流式复制关系建立失败。

    例如:经过计算搭建过程要持续2天,那么这2天内的日志需要在搭建完成前保留在主数据库实例本地磁盘。

  • 如果主数据库实例日志产生速率大于异地传输带宽;或者在带宽充足的情况下,主数据库实例日志产生速率大于灾备数据库实例的日志回放速率,即超规格场景搭建容灾后将导致RPO/RTO无法保持在特性规格水平。

62.1.4.1.2 容灾搭建调用接口

容灾搭建时需要对主备数据库实例发送搭建请求,参考《工具参考》中gs_sdr工具。

须知:

  • 容灾搭建时需要在主数据库实例和灾备数据库实例使用相同容灾用户名和密码用于数据库实例间鉴权,该用户的权限为Replication(Replication属性是特定的角色,仅用于复制)。

  • 搭建容灾前需要在主集群创建容灾用户。

  • 一次容灾搭建后,该用户密码不可修改,伴随整个容灾生命周期。若需修改容灾用户名与密码,需要解除容灾,使用新的容灾用户重新进行搭建。

  • 容灾搭建过程可在"time_out"设置超时时间,当前默认值为20min。超时时间的评估与主数据库实例搭容灾前的数据量与异地可使用带宽相关,计算公式为“数据量/传输速率 = 耗时”。 例如:主数据库实例有100TB数据,异地数据库实例间可用带宽为512Mbps(传输速率为64MB/s),搭建容灾传递这些数据需要时间为1638400s(10010241024/64,大约19天)。

62.1.4.2 灾备数据库实例升主failover

向灾备数据库实例发送灾备数据库实例升主的请求,参考《工具参考》中gs_sdr工具。

须知:

  • 灾备数据库实例升主后会进行容灾信息清除。

  • 如果主数据库实例处于正常状态,正在处理业务,灾备数据库实例因要主动解除容灾可以执行该命令。在该命令下发后,灾备数据库实例将不会再接收主机的日志,会导致容灾指标RPO值持续增长,直到主备数据库实例中断联系,RPO值为空。RPO值查询参见查询主备数据库实例容灾状态。

62.1.4.3 主数据库实例容灾信息清除

向主数据库实例发送容灾信息清除的请求,参考《工具参考》中gs_sdr工具。

须知:

  • 该操作会对主数据库实例进行容灾信息清除。

  • 该操作只能在灾备数据库实例升主后,对主数据库实例进行操作。在灾备数据库实例未升主条件下执行,将会导致容灾关系被破坏。

62.1.4.4 计划内倒换switchover

向主备数据库实例发送计划内switchover的请求,参考《工具参考》中gs_sdr工具。

62.1.4.5 查询主备数据库实例容灾状态

向主备数据库实例发送容灾状态查询的请求,参考《工具参考》中gs_sdr工具。

62.1.4.6 容灾状态下主备数据库实例升级

62.1.4.6.1 大版本升级
  1. 主数据库实例先升级,主数据库实例升级完成后,备数据库实例升级。

  2. 升级完成后,灾备数据库实例先提交,主数据库实例后提交。

62.1.4.6.2 小版本升级
  1. 主备数据库实例可以同时执行升级命令。

  2. 升级完成后,灾备数据库实例先提交,主数据库实例再提交。

须知:

  • 备数据库实例提交前,主数据库实例需要升级完成。

  • 备数据库实例先提交,主数据库实例后提交。

  • 备数据库实例已提交情况下,主数据库实例不可回滚。

  • 主备数据库实例升级过程中,不可发生主备数据库实例的切换。

62.2 故障处理

介绍使用基于流式复制的异地容灾解决方案可能遇到的常见问题,并提供故障处理步骤。

下表列出了不同操作中问题现象、原因、解决方案。

62.2.1 容灾搭建异常

表 容灾搭建错误信息参考

62.2.2 灾备升主failover异常

表 灾备升主failover错误信息参考

62.2.3 计划内倒换switchover异常

表 计划内switchover错误信息参考

62.2.4 灾备集群数据库实例故障

表 灾备集群数据库实例错误信息参考故障描述


👍 点赞,你的认可是我创作的动力!

⭐️ 收藏,你的青睐是我努力的方向!


有什么吐槽或反馈意见,直接告诉我!

温馨提示:如出现二维码失效也可直接添加微信号:ysc13803862469。


原文作者:超哥的IT私房菜;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论
专注于IT系统集成、运维、架构二十年的IT职场老兵,拥有CCNA、OCA、OCP、PGCA、PGCE认证证书,公众号:超哥的IT私房菜,知识星球:超哥的IT私房菜,目前是多家IT厂商的咨询顾问。

注册时间:2021-08-27

  • 博文量
    552
  • 访问量
    303622