PRD系统..帮朋友解决的..

写的有点乱,我自己能看明白..呵呵方便再用的查找

环境:
RedHat Linux ent4 +Oracle 10g RAC(10.2.0.1)+ASM

故障现象:
- 在没有正常关闭Oracle 数据库的任何组件的情况下,reboot机器.
- Reboot后,CRS起不来.

解决过程:
- 听取故障产生的过程
- 登陆到系统到系统中
ps -ef | grep crs /evm/css
发现只有/etc/ini.d下的自动启动守侯进程启动
ps -ef |grep d.bin
无任何进程,说明CRS没有启动
- 切换到root 用户./opt/oracle/product/10g/crs/bin/crsctl start crs
再次ps -ef | grep d.bin

- 确认两台机器的网络等效性
root/oracle 用户都测试一下,发现root不可以,rsh TEST2 ls .
把SERVER REBOOT
root/oracle 用户下,.rhost 里都加上相互的TEST2-priv root/oracle TEST2-vip root/oracle ,并赋予755权限
最后等效性成功
发现有短暂的进程起来后,但马上就没有
- 查看CRS日志,发现自从SERVER REBOOT后,没有任何的CRS日志,同时也没有
但发现如下的日志:
2008-07-26 18:26:25.610: [ OCRCONF][3086862016]ocrconfig starts...
2008-07-26 18:26:27.276: [ OCRCONF][3086862016]Failure initializing ocr in DEFAULT. REBOOT INSTALL. err :[PROC-32: Cluster Ready Services on the local node is not running Messaging error [9]]
2008-07-26 18:26:27.289: [ OCRRAW][3086862016]propriogid:1: INVALID FORMAT
2008-07-26 18:26:27.289: [ OCRRAW][3086862016]proprioini: disk 0 (/dev/raw/raw1) doesn't have enough votes (1,2)
2008-07-26 18:26:27.290: [ OCRRAW][3086862016]proprinit: Could not open raw device
2008-07-26 18:26:27.290: [ default][3086862016]a_init:7!: Backend init unsuccessful : [26]
2008-07-26 18:26:27.290: [ OCRCONF][3086862016]Failure in initializing ocr in INSTALL level. error:[PROC-26: Error while accessing the physical storage]
2008-07-26 18:26:27.290: [ OCRCONF][3086862016]Exiting [status=failed]...
- crsctl query css votedisk
发现没数据出来
- ocrcheck 没数据出来

现在已经判定是由于RAW的找不到造成的原因了
-/sbin/ifconfig
查看网络没问题
/etc/sysconfig/rawdevices 2个节点上
查看对应的RAW
chmod 777 所有CRS/VOTING 相关的RAW都改变权限
- service rawdevices restart(service cluster start) 2个节点上
显示都正常

- sbin/cluconfig(配置CLUSTER的命令)(没用到)
- /sbin/fdisk -l 查看disk 2个节点上都看,显示正常

- 让操作系统的管理的
dd 实验一下,是否那些RAW是可以用的,回答是可以用的
两边都可以,所以,RAW是可以用的

现在可以基本判定是CRS的配置文件坏了

- 让他们恢复昨天晚上8点的备份过来
采用DD的方式.
- 再次去查看对应的RAW的文件属性,是否是DBA属组..把权限权限改成777
- crsctl query css votedisk
出现对应的RAW设备了
- ocrcheck 有正常显示

- ps -ef |grep d.bin
相关的进程起来了

- ps -ef | grep tns
监听起来了

- ps -ef | grep ora_
数据库进程起来了

说明TEST1没任何问题了

现在可以去检查第2个节点了

同样都起来了

至此,问题得到完全的解决~

总结:
- 要按正常的流程起停数据库
- LINUX的东西还真不稳定
- 系统本身有问题,安装的时候可能就不完善
- 没打任何补丁,没任何安全保障
- 业务需要没必要用那么复杂的配置,维护成本太高
- 没有任何规划,问题多多