一、故障描述

二、处理过程

步骤	动作
【检查环境】	检查集群日志，确认异常节点2集群无法读取Voting File导致。
【OCR磁盘组修复】	通过NFS临时添加OCR磁盘。添加成功，Voting File问题修复。
【RAC部分进程端口号冲突】	通过排查发现节点1、2的rac进程，发现节点1的gipc、mdns进程存在端口号占用问题，kill并恢复。
【网络异常修复】	节点2 CSSD无法启动，GIPCD网络通信异常，关闭防火墙。
【重启测试】	重启服务器操作系统，CSSD无法启动。关闭防火墙自启动，重启两个节点操作系统，集群正常启动。
【业务验证】	业务验证正常。

为了尽快恢复2 节点，打算先在1 节点dd 出2 块新vote 盘，然后通过nfs 的方式挂载两边，添加到ocr 磁盘组，让2 节点normal 的ocr 先起来，再来判断一下后续的问题。

4.1 osw 查看prvtnet，发现traceroute通讯正常。

4.2 osw 查看netstat，发现IpReasmFails无明显增加，说明并非mtu切片重组失败导致的网络问题。

发现为端口占用报错

[root@hract21 Desktop]# cat /usr/include/asm-generic/errno.h | grep 98
#define EADDRINUSE 98 /* Address already in use */

gipcEndpoint : localAddr 'mcast://224.0.0.251:42424/192.168.0.1 --> 42424 is the port

说明42424 端口被占用

netstat -taupen |grep ":42424" 发现被mdns 进程占用。导致gipc 起不来。