健康巡检实战

一 RAC环境上的健康巡检需要的事项和解决方法

1 检查Vip-Vip不是正常relocate
适用环境： Only 10gR2 10.2.0.5 ~11gR1
检查方法：
os>cat $ORA_CRS_HOME/bin/racgvip |grep "PING_TIMEOUT="|awk -F"-w " '{print $2}'|awk '{print $1}'

[Note]
"CRS_HOME/log/node02" 下的VIP trace file中出现以下message，意味着由于VIP ping在1秒之内没有返回应答信息而发生错误。

2011-02-18 15:3OK:39.48NR: [ RACG][1] [4587556][1][ora.node02.vip]: Fri Feb 18 15:3OK:37 GMT+08:00 2011 [ 8257768 ] About to execute command: /usr/sbin/ping -S 192.168.220.36 -c 1 -w 1 192.168.220.33
Fri Feb 18 15:3OK:39 GMT+08:00 2011 [ 8257768 ] IsIfAlive: RX packets checked if=en1 failed

检查结果和处理方法：
[症状] VIP检测超时时间（timeout）设成1秒
[问题] 由于系统存在负荷导致无法在指定的timeout时间内检测到状态，VIP会被relocate
[改进方案] 修改VIP检查脚本中的timeout时间，1秒改为3秒
具体步骤 :
1. 根本的问题是需要提高网络性能,
2, 在racgvip文件中把VIP ping timeout的值从1秒改为3秒，作为vip在1秒之内没有得到响应而relocate的变通方案

# $GRID_HOME/bin/racgvip 确认并修改
# timeout of ping in number of loops (1 sec)
PINO_TIMEOUT=" -c 1 -w 1"
改成==>
# timeout of ping in number of loops (3 sec)
PINO_TIMEOUT=" -c 1 -w 3"
srvctl start nodeapps -n <hostname>

2 确认Default OS TimeZone和 oracle user 环境变量TZ是否一致
检查方法：env | grep TZ
Oracle user(包括CRS)和 root user的 TZ环境变量或者OS default timezone一致
检查结果和处理方法：
[症状] OS Default Timezone 不一致
[问题] DB启动的时候参照的Timezone和OS User环境变量不一致，导致系统日志等内容中的Timezone各不同
[改进方案] 统一OS Default Timezone(/etc/default/tz)

3 CRS 版本和DB 版本要一致
检查方法：
crsctl query crs activeversion
crsctl query crs softwareversion

检查结果和处理方法：
"[症状] CRS版本低于DB版本
[问题] CRS版本应高于或者等于DB版本
[改进方案] 升级CRS版本"

4内网连接采用switch连接
检查结果和处理方法：
"[症状] CRS interconnect连接方式为直连，通过Cross Cable直连
[问题] Oracle 不支持interconnect的直连.
       特别是当网卡发生故障不能用interconnect通讯时，CRS无法判断哪个服务器的网卡有故障
[改进方案] 利用Switch实现internaconnect连接

[参考]
Oracle发布公文表示，Interconnect Network只允许通过switch连接的方式，不支持直连"

5 设置巨帧jumbo frame
"[症状] Interconnect Network的MTU设置1500
[问题] DB block范围是8k, 16k, 32k等，这些数据块在传输时按照MTU的大小切碎成若干块再合并，这会影响性能
[改进方案] 如果使用专用交换机，则修改MTU为9000,以提高性能
具体步骤
interconnect network中设置jumbo frame (MTU 9000): default MTU 1500
(HP) netstat -in (其它) ifconfig -a

[参考] 如果网络支持jumbo frame，如果有必要提高internode traffic性能时可以考虑。已上线的系统不需要考虑，新系统可以考虑。"

6 设置CRS 自动启动
[症状]  CRS 打开了自动启动
[问题] 在OS的Cluster资源未正常启动之前试图先启动CRS的话，会造成CRS的资源无法正常启动
[改进方案] 关闭CRS Auto Start功能
HP/Solaris): cat /var/opt/oracle/scls_scr/$host/root/crsstart，确认内容是否为disable
IBM/Linux) : cat /etc/oracle/scls_scr/`hostname`/root/crsstart，确认内容是否为disable
如果是自动启动 crsctl disable crs
(11gR2开始放在ohasdstr里而不是crsstart)

7 检查Voting Disk个数 - ASM除外
[症状] Voting Disk没有镜像
[问题] 在Voting File损坏时服务不再继续
[改进方案] Voting File做镜像(如果条件允许，请放在不同的Volume)"
具体步骤
os>crsctl query css votedisk
设置 Voting Disk 个数为3个或5个

8 Vote Disk Member 是否分开放到不同F/S [ASM 除外]
"[症状] 所有Voting File在相同的目录下
[问题] 未分开存放的Voting File会增加同时损坏的可能性
[改进方案] 把Voting File分开不同目录存放
          (如果可以，建议单独创建F/S分开)"
具体步骤
os>crsctl query css votedisk

9检查OCR disk个数
[症状] OCR Disk未做镜像
[问题] OCR Disk损坏时，不能提供服务
[改进方案] 镜像OCR (如果可以，建议分开不同FS存放)"
具体步骤
os>ocrcheck

10 OCR Disk Member 是否分开不同F/S存放
[症状] 所有OCR文件在相同的目录下
[问题] 未分开存放的OCR文件会增加同时损坏的可能性
[改进方案] 把OCR文件分开不同目录存放，或者ASM Diskgroup
          (如果可以，建议单独创建F/S分开)
具体步骤
os>ocrcheck

11 检查 CRS网络心跳是否有丢失
[症状] css misscount的值未设成建议值 200 以下
[问题] False Detection 或者需要很长的等待时间
[改进方案] 把css misscount值设成200以下的值。或者, Vendor Cluster的配置能在200秒以内检测Interconnect故障.
default: 10g : CRS Only : 30 (linux： 60), Vendor Cluster : 600
         11g : CRS Only : 30, Vendor Cluster : 600
Steps To Change CSS Misscount, Reboottime and Disktimeout [ID 284752.1]
具体步骤
$ crsctl get css misscount

12 CRS diagwait 检查故障时，日志生成时间
[症状] 使用CRS Logging 参数的缺省值
[问题] CRS故障导致服务器重启时由于没有日志对分析工作带来限制
[改进方案] 把diagwait值从0改为13
具体步骤
 从11gR2版本不需要设置[ID 559365.1]
(设置方法)
/ora_crs/bin/crsctl stop crs (一定要先关闭CRS之后操作)
/ora_crs/bin/crsctl get css diagwait  发生故障时，确保Trace生成的时间以便事后做分析
/ora_crs/bin/crsctl set css diagwait 13  -force  <- 设成13秒
确认
/ora_crs/bin/crsctl get css diagwait

** 不能在线修改,Not ROLLABLE

[参考] 对于2台DB服务器，需要同时关闭CRS之后修改
假如其他节点中有CRS相关进程，会发生OCRCorruption，所以不能以ROLL方式修改