今天在启动一个RAC节点时遇到了以下问题，instance都起不来，检查了ASM都没有问题，另一个节点都能正常的启动

21:55:13 SQL> startup nomount
ORA-01078: failure in processing system parameters
ORA-01565: error in identifying file '+DATA/oradata/billdb/spfilebilldb.ora'
ORA-17503: ksfdopn:2 Failed to open file +DATA/oradata/billdb/spfilebilldb.ora
ORA-03113: end-of-file on communication channel

查看了DB的alert文件，没有错误

查看了ASM的alert文件，发现有以下错误
Thu Nov 18 20:40:30 2010
Errors in file /u01/app/admin/+ASM/udump/+asm2_ora_28172.trc:
ORA-07445: exception encountered: core dump [kkxsyn()+584] [SIGSEGV] [Address not mapped to object] [0x000000168] [] []


查询metalink后确定是$ORACLE_HOME/rdbms/lib/libknlopt.a问题，前段时间打过patch，估计和这个有关
但根据metalink还是没有解决，没办法了，最后用了终极办法，从另一个节点把ORACLE_HOME都拷贝过来，修改了一些参数，最终解决了这个问题

发生故障时解决问题才是唯一目标，不用拘泥于细节[@more@]