ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 一次RAC节点宕机的解决过程

一次RAC节点宕机的解决过程

原创 Linux操作系统 作者:huyangg 时间:2011-03-22 10:38:29 0 删除 编辑
原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://468302.blog.**.com/458302/441412

情况介绍

海哥反馈大连某院的Oracle 10g RAC平均每个月都要宕机一次,一个节点自动重启,奇怪的是故障的时间没有规律,有时还发生在基本上没有业务的凌晨。医院目前使用的Windows 2003 Server(32 Bit),数据库版本是10.2.0.3。另外海哥还反映系统还伴有Ora-04031错误。

2. 问题的诊断过程。

由于同时出现了down机和ora-04031错误,首先判断是不是由于内存耗尽,导致的一个节点down机,之前在32bit系统中遇到过类似错误;但由于down机也可能发生在系统压力很小的凌晨,这一判断首先被推翻。

向海哥索取了两个节点的alertSID.log日志和CRS日志,开始了分析。

节点1:

----------------------------------------------------------------------------------------------------

IPC Send timeout detected. Receiver ospid 5012

Tue Sep 29 06:18:31 2009 --这个时间检测到2号节点的IPC超时

Errors in file d:oracleproduct10.2.0adminora10bdumpora101_lms3_5012.trc:

Tue Sep 29 06:19:28 2009

Restarting dead background process DIAG  --重启检测进程进行检测

DIAG started with pid=3, OS id=68680

Tue Sep 29 06:20:13 2009

Waiting for clusterware split-brain resolution  --等待“脑裂”方案实施

 

Tue Sep 29 06:24:26 2009

IPC Send timeout detected. Receiver ospid 4768

Tue Sep 29 06:24:26 2009

Errors in file d:oracleproduct10.2.0adminora10bdumpora101_lmd0_4768.trc:

 

Tue Sep 29 06:25:29 2009

Restarting dead background process DIAG

DIAG started with pid=3, OS id=71060

Tue Sep 29 06:30:13 2009

Evicting instance 2 from cluster --1号节点将2号节点驱逐出集群,开始重新配置

Tue Sep 29 06:30:29 2009

Reconfiguration started (old inc 56, new inc 60)

………………省略部分日志……………………….

Tue Sep 29 07:26:30 2009

Submitted all GCS remote-cache requests

Post SMON to start 1st pass IR

Fix write in gcs resources

Reconfiguration complete --重新配置完成

 

 

节点2

-------------------------------------------------------------------------------------------------------------------------------

Tue Sep 29 06:18:30 2009

IPC Send timeout detected.Sender: ospid 2112 --检测到发生了IPC超时

Receiver: inst 1 binc 86089 ospid 5012

Tue Sep 29 06:18:32 2009

Errors in file d:oracleproduct10.2.0adminora10bdumpora102_lms1_2112.trc:

ORA-27508: 发送信息时发生 IPC 错误

ORA-27300: OS 系统相关操作: IPCSOCK_Send 失败, 状态为: 10055

ORA-27301: OS 故障消息: 由于系统缓冲区空间不足或队列已满,不能执行套接字上的操作。

ORA-27302: 错误发生在: send_3

 

Tue Sep 29 06:18:32 2009

IPC Send timeout to 0.4 inc 56 for msg type 65521 from opid 8

Tue Sep 29 06:18:32 2009

Communications reconfiguration: instance_number 1

Tue Sep 29 06:18:32 2009

Trace dumping is performing id=[cdmp_20090929061832]

Tue Sep 29 06:20:13 2009

Waiting for clusterware split-brain resolution --等待“脑裂”方案实施

Tue Sep 29 06:24:25 2009

IPC Send timeout detected.Sender: ospid 2116

Receiver: inst 1 binc 86087 ospid 4768

Tue Sep 29 06:24:27 2009

Errors in file d:oracleproduct10.2.0adminora10bdumpora102_lmd0_2116.trc: --这里是具体的IPC错误原因

ORA-27508: 发送信息时发生 IPC 错误

ORA-27300: OS 系统相关操作: IPCSOCK_Send 失败, 状态为: 10055

ORA-27301: OS 故障消息: 由于系统缓冲区空间不足或队列已满,不能执行套接字上的操作。

ORA-27302: 错误发生在: send_3

 

Tue Sep 29 06:24:27 2009

IPC Send timeout to 0.0 inc 56 for msg type 65521 from opid 6

Tue Sep 29 06:30:13 2009

Errors in file d:oracleproduct10.2.0adminora10bdumpora102_lmon_4008.trc:

ORA-29740: 已被成员 1 逐出, 组原型 58 --检测到自已经被节点1驱逐

Tue Sep 29 06:30:13 2009

LMON: terminating instance due to error 29740

Tue Sep 29 06:30:13 2009

Errors in file d:oracleproduct10.2.0adminora10bdumpora102_lms0_4284.trc:

ORA-29740: 已被成员 逐出, 组原型

 

分析完了日志,基本可以确定是由于IPC包发送失败导致CRS认为心跳失败,为了避免“脑裂”现象,节点1主动驱逐了节点2;另外的几次down情况类似。在一个共享存储的集群中,当集群中hearbeat丢失时,如果各节点还是同时对共享存储去进行操作,那么在这种情况下所引发的情况是灾难的。ORACLE RAC采用投票算法来解决这个问题,思想是这样的:每个节点都有一票,考虑有ABC三个节点的集群情形,当A节点由于各种原因不能与BC节点通信时,那么这集群分成了两个DOMAIN,A节点成为一个DOMAIN,拥有一票;B,C节点成为一个DOMAIN拥有两票,那么这种情况BC节点拥有对集群的控制权,从而把A节点踢出集群,对要是通IO FENCING来实现。如果是两节点集群,则引入了仲裁磁盘,当两个节点不能通信时,请求最先到达仲裁磁盘的节点拥用对集群的控制权。

在网络正常的情况下,IPC包发送超时,首先想到是不是遇到了bug Metalink上查了查,发现一个bug与我们的现象吻合。Bug编号为: 6782276,在10.2.0.4中得到了修复。接下来就是按部就班的打补丁了。

本文出自 “blog.sina.com.cn” 博客,请务必保留此出处http://468302.blog.**.com/458302/441412

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/17283404/viewspace-690135/,如需转载,请注明出处,否则将追究法律责任。

下一篇: oracle学习路线图
请登录后发表评论 登录
全部评论

注册时间:2010-04-02

  • 博文量
    60
  • 访问量
    220439