ITPub博客

故障现象/opt/gaussdb目录满了，清理空间以后，执行gs_om-tstatus命令失败。[omm@bmpdb178~]$gs_om-tstatusParsejsonfilefailed,ERROR:NoJSONobjectcouldbedecoded可能原因磁盘空间满，导致dumpfile.

该现象仅在分布式部署模式下出现。CN分发DDL到各个待执行节点插入系统表成功，在执行DDL阶段部分节点执行失败，执行失败的节点SYS_DIST_DDL_LOGINFO表就会残留记录，残留记录处理步骤如下：查询SYS_DIST_DDL_LOGINFO表残留记录信息。SELECTDIST_DDL_ID,

当前双机重建均是全量重建。在以下场景下，需要对备机进行重建：查询视图DV_DATABASE时，如果DATABASE_CONDITION字段显示为NEEDREPAIR，需要重建该数据库。由于文件误删除或损坏等无法修复的故障造成数据库无法启动时，需要重建该数据库。操作步骤以omm用户身份登录GaussD

当前备机重建均是全量重建。在以下场景下，需要对备机进行重建：查询视图DV_DATABASE时，如果DATABASE_CONDITION字段显示为NEEDREPAIR，需要重建该数据库。由于文件误删除或损坏等无法修复的故障造成数据库无法启动时，需要重建该数据库。重建备机时，主机状态必须正常。操作步骤以

替换主机-换IP的方案相当于集群温备方案，即无需修改新机IP、hostname的情况下，将处于运行状态的主机直接替换为新机。前提条件分布式部署模式下替换主机的前提条件：故障节点不能存在CN实例。集群中不能存在GTS实例。集群状态可查，主CMServer状态正常，集群状态不能为Unavailable。

集群的主机出现故障，需要使用新的主机进行替换，如果新主机的IP和主机名称和故障主机保持一致，则可以使用命令直接进行替换。前提条件分布式部署模式下替换主机的前提条件：故障节点不能存在CN实例。集群中不能存在GTS实例。集群状态可查，主CMServer状态正常，集群状态不能为Unavailable。替换

当主机上的某些实例出现故障后，可以使用替换实例功能，快速的将故障的实例修复到正常状态，无需替换主机。前提条件分布式部署模式下替换故障实例的前提条件：故障节点不能存在CN实例。集群中不能存在GTS实例。集群状态可查，主CMServer状态正常，集群状态不能为Unavailable。替换前不能锁定集群。

GaussDB100会部署在多个主机上，集群中每个主机上可能会部署有CN、DN、CMServer和CMAgent等实例配合工作。当集群中某些主机或者某个主机上的某些实例发生故障后，为了保障集群快速地恢复运行，需要将发生故障的主机替换为正常主机，将发生故障的实例替换为正常实例。背景信息其中替换主机根据

在部署两地三中心集群时，如果生产中心AZ1和同城的灾备中心AZ2同时发生故障（例如地震灾害等情况），异地灾备中心AZ3仅作为一个备份，集群不会自动切换到AZ3运行，此时需要手动拉起AZ3来提供服务。单AZ拉起可能丢失部分数据，请谨慎使用此操作。指定单AZ拉起的操作，只适用于两地三中心3个AZ，且AZ

问题现象用户在执行“gs_om-tswitch-hhostname-Iinstname”命令的时候，在命令执行结束之前，使用“Ctrl+C”中断了主备切换过程，中断后再次对同组内的DN执行主备切换的时候，无法切换成功。执行结果及报错如下：gs_om-tswitch-hplat1-IDB1_2Swit

集群主CM发生故障，备CM会自动升为主，待故障CM恢复正常后，可以手工执行主备切换，使CM切回到原来的主机上。在其他场景，如有需要也可以通过命令行手动切换CM。背景信息部署集群时，建议用户将CMServer主和备实例分散部署在其他多个主机上。如表1所示。表1集群部署方案示例主机AZCNCMETCDD

集群主DN发生故障，DN的备机自动升为主机后，可能导致集群各主机上的主备分布不均衡，从而使各主机的运行负载不均衡。待故障DN恢复正常后，可以手工执行主备切换，使各主机上的主备DN分布均衡。在其他场景，如有需要也可以通过命令行手动切换DN。背景信息部署集群时，建议用户将主机上的主DN对应的备1实例和备

集群CN故障导致两阶段提交有残留事务时，可以根据本节内容对这些残留事务进行修复。CN故障分为两种情形，情形1下故障CN可访问历史数据，情形2下故障CN无法访问历史数据。该操作仅支持分布式部署模式下执行。背景信息部署集群时，建议用户将CN实例分散部署在其他多个服务器上，以避免主机故障造成的集群不可用。

集群CN由于故障被隔离时，可以根据本节内容恢复故障CN。该操作仅支持在分布式部署模式下执行。背景信息部署集群时，建议用户将CN实例分散部署在其他多个服务器上，以避免主机故障造成的集群不可用。如表1所示。表1集群部署方案示例主机AZCNCMETCDDNplat1AZ1CN1CM备ETCD1DN1备pl

应急处理CN隔离恢复集群CN由于故障被隔离时，可以根据本节内容恢复故障CN。该操作仅支持在分布式部署模式下执行。2PC残留事务修复DN主备切换集群主DN发生故障，DN的备机自动升为主机后，可能导致集群各主机上的主备分布不均衡，从而使各主机的运行负载不均衡。待故障DN恢复正常后，可以手工执行主备切换，

常见的磁盘故障是磁盘空间不足、磁盘出现坏块、磁盘未挂载等。磁盘空间不足。文件读写错误可能是磁盘空间不足，通过“df-h”可以看到磁盘空间已达100%，如下：root:/>df-hFilesystemSizeUsedAvailUse%Mountedon/dev/xvda136G5.9G28G18

数据库发生故障时，需要及时收集日志、视图、错误码和黑匣子（或core文件）的信息来分析问题产生的原因。查看错误码信息GaussDB100提供了丰富的错误码显示机制。并期望通过不断丰富每条错误码的可能原因和处理办法，协助用户在遇到问题时可以快速和顺利地定位和解决问题。错误码详细信息请参见错误码参考。通

登录操作系统后，如果执行操作时响应缓慢，需检查系统运行情况后，进行进一步处理。执行的操作包括但不限于收集系统信息，确定系统版本、硬件、参数设置及登录用户情况。系统资源不足（如CPU或I/O资源过载）引起的机器不响应外部连接。建议重试几次。若5分钟内仍不能操作这台机器，需管理员到现场进行检查处理。图1

通信网络层是数据库的基础组件，在数据库正常工作的情况下，网络层对上层用户是透明的，但数据库在长期运行时，可能会由于各种原因导致出现网络异常或错误。当发生网络时，可使用ifconfig、ping、netstat、lsof等命令检查网卡是否正常。netstat连接数据库或执行查询时发生hang处理办法：

故障定位通过故障定界的办法初步预判确定了故障类型后，可以参考本节提供的一些手段进行故障定位。网络故障定位手段通信网络层是数据库的基础组件，在数据库正常工作的情况下，网络层对上层用户是透明的，但数据库在长期运行时，可能会由于各种原因导致出现网络异常或错误。操作系统故障定位手段数据库故障定位手段磁盘故障