============================================================
Oracle Database RAC 11gR2学习笔记
之 Oracle 11gR2 Clusterware 
参考：《11gR2 Clusterware and Grid Home - What You Need to Know [ID 1053147.1]》
by 王磊/菜小小~@2011-5-29 20:40
============================================================

Oracle 11gR2 Clusterware 注意事项

--【译自[ID 1053147.1]-11gR2 Clusterware Key Facts】，英文原文见 此处；

• 可以将CRS（Clusterware）理解为Oracle的HA软件，部署OracleRAC时CRS必须先安装；
• 11gR2 clusterware与之前的版本有灰常大的change；
• 11gR2 clusterware 可以以standalone（单机）模式安装；
• 11gR2 clusterware 可以独立运行或者在第三方集群件的基础上运行；
• GRID home包括Oracle Clusterware和ASM;
• GRID home和RAC/DB home必须安装在不同路径；
• 11gR2 clusterware 需要共享的OCR和voting 文件，可以放置于ASM或集群文件系统；
• OCR文件每4小时会自动备份于 /cdata//，可使用ocrconfig进行恢复；
• voting文件在每次配置发生变更时备份入OCR,可使用crsctl进行恢复；
• 11gR2 Clusterware每节点需要至少一个私有网络用于节点间通信和至少一个公有网络用于外部通信；Several virtual IPs need to be registered with DNS.  This includes the node VIPs (one per node), SCAN VIPs (three).  This can be done manually via your network administrator or optionally you could configure the "GNS" (Grid Naming Service) in the Oracle clusterware to handle this for you (note that GNS requires its own VIP).  
• SCAN (Single Client Access Name) 是供给客户端连接使用的；Note: 887522.1
• clusterware安装结时提示运行的root.sh脚本是用来启动clusterware stack的；Note: 1053970.1
• 每个节点只能运行一组clusterware stack；
• Unix平台clusterware stack是通过/etc/inittab中的init.ohasd脚本通过“respawn”方式启动的；
• 如果某节点被认为不正常将会被驱逐出集群（重启）；Note: 1050693.1
• 要么配置并运行第三方的时间同步服务（比如NTP），要么不配置而让CTSS 来进行时间同步； Note: 1054006.1 
• "crsctl start crs"可以启动当前节点的clusterware stack；"crsctl start cluster"可以启动所有节点的clusterware stack；前提是ohasd正常运行；注意： crsctl在/bin目录下；
• "crsctl stop crs"可以停止当前节点的clusterware stack；"crsctl stop cluster"可以停止所有节点的clusterware stack；注意： crsctl在/bin目录下；
• clusterware 后台进程不能通过kill来停止；

Oracle 11gR2 Clusterware 启动顺序

Clusterware startup sequence 【不要这图吓到，因为管理这些进程是clusterware的事情】

OracleClusterware 启动顺序简要总结：

INIT进程通过spawns方式init.ohasd启动OHASD（(Oracle High Availability Services Daemon）进程；

OHASD派生出4个子进程：

Level 1: OHASD 派生出以下进程:

orarootagent - 用于管理root用户所拥有的ohasd资源的代理；orarootagent 派生出以下进程：

CRSD - 管理集群资源的主守护进程；CRSD 派生出以下进程：

orarootagent - 用于管理root用户所拥有的ohasd资源的代理

Network resource - 监控公有网络；

SCAN VIP(s) - Single Client Access Name Virtual IPs

Node VIPs - 节点VIP

ACFS Registery - 挂载ASMFS

GNS VIP (optional) - VIP for GNS

oraagent - 用于管理oracle用户所拥有的ohasd资源的代理

ASM Resouce - ASM实例资源

Diskgroup - 用于管理/监控ASM磁盘组；

DB Resource - 用于管理/监控DB和实例；

SCAN Listener -监听SCAN VIP

Listener - 监听Node VIP

Services - 用于管理/监控服务；

ONS - Oracle 通知服务；

eONS - 增强Oracle 通知服务；

GSD - 用于9i的向后兼容性；

GNS (optional) - Grid 命名服务；

CTSSD -集群时间同步服务守护进程；

Diskmon

ACFS (ASM Cluster File System) Drivers -ASM集群文件系统驱动；

oraagent - 用于管理oracle用户所拥有的ohasd资源的代理；oraagent 派生出以下进程：

MDNSD - 用于DNS查找；

GIPCD - 用户进程间通信与节点间通信；

GPNPD - Grid Plug & Play Profile Daemon

EVMD - 事件监控；

ASM - 建库ASM实例资源；

cssdmonitor - CSSD运行状态监控及节点健康监控；(伴随cssdagent运行).

cssdagent - 派生CSSD进程的代理；

Oracle 11gR2 Clusterware 日志位置

• /cfgtoollogs 目录与 $ORACLE_BASE/cfgtoollogs目录包含其他一些重要日志，比如rootcrs.pl 、ASMCA等工具的日志
• $ORACLE_BASE/diag/asm/+asm//trace包含ASM实例的日志；
• /bin/diagcollection.pl 脚本可以用来自动收集重要日志，该脚本需要以root用户身份执行；
• 所有的clusterware守护进程日志均存放在/log/目录下，该目录结构如下：

alert.log - look here first for most clusterware issues

./admin:

./agent:

./agent/crsd:

./agent/crsd/oraagent_oracle:

./agent/crsd/ora_oc4j_type_oracle:

./agent/crsd/orarootagent_root:

./agent/ohasd:

./agent/ohasd/oraagent_oracle:

./agent/ohasd/oracssdagent_root:

./agent/ohasd/oracssdmonitor_root:

./agent/ohasd/orarootagent_root:

./client:

./crsd:

./cssd:

./ctssd:

./diskmon:

./evmd:

./gipcd:

./gnsd:

./gpnpd:

./mdnsd:

./ohasd:

./racg:

./racg/racgeut:

./racg/racgevtf:

./racg/racgmain:

./srvm: