Linux AS4U4 X86_64，ORACLE 10.2.0.3
一开始SA为了偷懒装的AS5，单实例没问题，可是要用ASM，去oracle网站一找，内核太高级。。。。没有对应的ASMLIB，其实也可以装就是不要asmlib了，但是欧想稳定第一，忽悠SA重装了AS4U4。
初始化裸设备的时候执行裸设备绑定重启完服务发现绑不上，重启os搞定，ASMlib安装时因为内存有64G必须打ELlargesmp，不然asm configure失败。。。之后安装软件时第三个节点遇到：

Error while copying directory
　　/u01/app/oracle/product/crs with exclude file list 'null' to nodes 'linux2'.
　[PRKC-1002 : All the submitted commands did not execute successfully]
---------------------------------------------
　linux2:
　　/bin/tar: ./bin/lsnodes: time stamp 2006-09-13 09:21:34 is 735 s in the future
　　/bin/tar: ./bin/olsnodes: time stamp 2006-09-13 09:21:34 is 735 s in the future
　　...(more errors on this node) 看了下第三个节点比前2个慢1秒。。。调整下时间ok了，其实不调整也没问题。

，到达了执行crs的root.sh，前2个节点没问题，卡在第三个节点的Startup will be queued to init within 90 seconds。判断下多半是裸设备访问问题造成ocr文件无法读取咯，可是三个节点配置一样，看了卡住节点的/var/log/messages发现下面的内容：
Aug 20 13:23:39 bj15-77 oracle: Cluster Ready Services waiting on dependencies. Diagnostics in /tmp/crsctl.8805
[root@bj15-77 oracle]# more /tmp/crsctl.8805
OCR initialization failed accessing OCR device: PROC-26: Error while accessing the physical storage Operating System error [Permission denied] [13]
查了metalink发现中奖，bug 438141.1,第三个节点一直卡着，不要ctrl+c退出,直接chmod +x /dev/raw，解决。
系统起来后发现有2个节点监听起不来，lsnrctl status/start/stop都报：
TNS-12541: TNS:no listener
TNS-12560: TNS:protocol adapter error
TNS-00511: No listener
Linux Error: 111: Connection refused
手工kill了ps -ef |grep lsnr的进程然后lsnrctl start又是好的。。。
看了下metalink都说hosts问题，看了下也没啥问题啊。想了下看了看listener.ora:
LISTENER_BJ15-77 =
(DESCRIPTION_LIST =
(DESCRIPTION =
(ADDRESS = (PROTOCOL = TCP)(HOST = BJ3-VIP)(PORT = 1521)(IP = FIRST))
(ADDRESS = (PROTOCOL = TCP)(HOST = 61.106.55.71)(PORT = 1521)(IP = FIRST))
)
)
估计是这里出问题了，VIP服务还没起来监听就探测结果出问题。而且这样的监听只会监听固定ip地址，而不会监听0.0.0.0 1521。如果其他节点的VIP漂移过来，它就不能监听VIP了。oracle的netca工具实在不怎么样。。。不过也没法说是bug，还是自己来吧
改为：
LISTENER_BJ15-77 =
(DESCRIPTION_LIST =
(DESCRIPTION =
(ADDRESS = (PROTOCOL = TCP)(HOST = bj15-77)(PORT = 1521))
)
)
ok了
开始建库了，注意把防火墙关掉不然有时候会遇上bug，dbca卡住除非ctrl+c强退。进行到分配内存，DBCA显示数据库分配内存SGA 1.5G，PGA 6G？以为内核参数有问题，后来发现不设置AUTO手动制定SGA和PGA的target就可以，设了20G的SGA。看来oracle不大习惯64g内存。。。。
之后遇到最大的问题了。。。。重启了os之后，发现asm起不来，尝试手动启动了asm实例，然后手工mount磁盘组，居然告诉我没有磁盘组，报了ORA-15032/ORA-15063错误，alert里面是：
SQL> alter diskgroup dg1 mount
Wed Aug 20 17:18:05 2008
NOTE: cache registered group DG1 number=1 incarn=0x7a8c8fbd
Wed Aug 20 17:18:05 2008
Loaded ASM Library - Generic Linux, version 2.0.2 (KABI_V2) library for asmlib interface
Wed Aug 20 17:18:05 2008
ERROR: no PST quorum in group 1: required 2, found 0
Wed Aug 20 17:18:05 2008
NOTE: cache dismounting group 1/0x7A8C8FBD (DG1)
NOTE: dbwr not being msg'd to dismount
ERROR: diskgroup DG1 was not mounted
恩比较眼熟，继续metalink。。。。发现都是bug。看了下/dev/oracleasm/disks，居然没有一个ASM磁盘了！！原来我有VOL1-VOL4阿。基本确定bug了，找到解决方法：
/etc/init.d/oracleasm force-renamedisk /dev/sdc1 VOL1
/etc/init.d/oracleasm scandisk
reboot os
mlgbd终于没问题了，还好不是asm disk的header损坏不然要kfed了。。。。。。

类似的问题还有装配ASM实例时，第一个节点没问题，后面的节点全部报ORA-15032，ORA-15063。导致之后库建好除了第一个节点其他实例都无法启动。检查/dev/oracleasm/disk发现没有磁盘，可以重启解决，或者使用scandisk
然后在sqlnet.ora中加上CDC穿防火墙就基本ok了。。。。累死我鸟装一次碰到bug数量赶上以前10次的了。。