使用crsctl工具诊断cluster问题

==================

以root身份执行crsctl命令能够诊断oracle集群安装中的问题
还可以动态调整集群软件

本小节主要讲述以下内容

获取oracle集群组件名
开启oracle集群组件调试
开启和关闭oracle集群deamons
定位oracle集群的alert日志
为oracle集群资源开启调试
检查oracle集群安装信息
定位集群组件的log文件
运行oracle集群软件诊断信息收集脚本

-------------------

获得oracle集群组件名

使用下面的命令来获得oracle集群组件名
其中module_name可以是crs、evm或者css
例：
#crsctl lsmodules module_name

# crsctl lsmodules css
The following are the CSS modules ::
CSSD
COMMCRS
COMMNS
---------------------

开启oracle集群组件调试

使用crsctl命令可以开启oracle 集群deamons、event manager（EVM）以及模块的调试功能
component-name代表集群组件名如crs，evm或者css
module是使用使用crsctl lsmodules命令列出的模块名
debugging-level可以定义为1-5
例：
#crsctl debug log component module:debugging_level

#crsctl debug log css CSSD:1

-----------------------

启动关闭oracle集群deamons

当oracle集群软件的deamons处于enabled状态，当节点启动时自动启动
使用crsctl命令可以启动或关闭deamons

#crsctl enable crs
#crsctl disable crs

-------------------------

和db一样，cluster软件也会记录alertlog来记录重大的错误或问题
记录的路径为：
CRS_HOME/log/hostname/alerthostname.log
其中hostname是节点的hostname

--------------------------

开启oracle集群软件资源调试

使用crsctl命令开启oracle集群软件资源调试
语法如下：
#crsctl debug log res resource_name:debugging_level
其中resource-name是oracle集群软件资源的名，如，ora.decrac1.vip
debugging_level可以是1到5

获取目前oracle集群软件资源的列表，使用下面的命令
#crs_stat

-----------------------------

校验oracle集群软件安装的信息

#crsctl check crs
#crsctl check deamon
deamon可以似乎crsd,cssd,evmd

------------------------------

集群软件各组件的log文件位置

CRS_HOME/log/hostname/crsd
CRS_HOME/log/hostname/cssd
CRS_HOME/log/hostname/evmd
CRS_HOME/log/hostname/client
CRS_HOME/log/hostname/racg
为了实现高可用，通常在下面的路径下也会有日志
$ORACLE_HOME/log/hostname/racg

如果oracle集群软件组件生成dump文件，通常是放在日志文件的子目录中的

-------------------------------

运行oracle clusterware诊断信息收集脚本

以root身份运行diagcollection.pl来收集统计信息
#CRS——HOME/bin/diagcollection.pl
会统计出css，evm，crs的统计信息

=============================

使用CVU--cluster verification utility来诊断问题

本小节包括以下内容：
开启trace
检查网络培植
返回UNKNOWN故障的原因
验证在线节点中的应用
验证机群软件的完整性
验证ocr的完整性
验证整个集群的完整性

---------------

开启trace跟踪

将环境变量SRVM_TRACE 设置为true
这样运行的CVU命令就会自动被跟踪
trace文件存储的路径为
CRS_HOME/CV/LOG
系统给trace文件自动命名为cvutrace.log.0.
一旦开启，系统会不断的记录命令的跟踪文件，所以要注意空间的使用并删除或归档不需要的跟踪文件

--------------

检查网络设置

oracle 通过cache fusion技术在节点的dbcache间交换块，以此来提高性能
节点间是通过私有网络来进行数据交换的
使用cvu可以验证网络的配置情况

验证当前节点能访问到的节点，使用以下命令
cluvfy comp nodereach -n node_list [-srconde node] [-verbose]

验证当前从节点可以访问的节点，使用以下命令
cluvfy comp nodecon -n node_list [-i interface_list] [-verbose]

cluvfy comp nodecon -n all [-verbose]

例：
clufy comp nodecon -n docrac1,docrac2,docrac3 -i eth0 -verbose

----------------

返回UNKNOWN故障的原因

如果使用cluvfy -verbose，返回的是UNKNOWN的话，意味着CVU不能确定是否通过
出现这种现象的原因有可能是单点故障，也有可能是系统故障
以下是返回UNKNOWN时可能出现的原因
1、节点down
2、在crs_home/bin下或者$ORACLE_HOME/bin下没有cvu命令
3、缺补丁或系统缺包
4、内核参数配置有误，cvu不能获取操作系统信息

-------------------

验证集群中实例的应用
cluvfy comp node app [-n node_list] [-verbose]

--------------------

验证集群软件完整性
cluvfy comp crs [-n node_list] [-verbose]

--------------------

验证ocr完整性
cluvfy comp ocr [-n node_list] [-verbose]

--------------------

验证整个集群的完整性
cluvfy comp clu

---------------------

查看RAC数据库的alert

在OEM的HOME页中就有
集群数据库与单点数据库的alert日志区别在于集群数据库的alert日志表格中有target name字段，记录的是信息发生的节点