ITPub博客

首页 > Linux操作系统 > Linux操作系统 > linux集群故障判断两则(二)

linux集群故障判断两则(二)

原创 Linux操作系统 作者:anycall2010 时间:2009-10-06 10:37:44 0 删除 编辑

一、             故障现象:

 

两台数据库服务器操作系统正常,但是共享磁盘丢失。DB2数据库服务关闭。集群状态是“recovering”

 

二、解决办法:

 

让用户查看了一下心跳网口和RSA管理口的状态,发现是正常的。说明不是硬件问题,通过重启2台服务器,问题解决。

 

三、故障原因分析

 

通过远程VPN连接到客户的服务器端,抓取操作系统的日志。发现集群早在2009-09-23当天已经出现故障。从2009-09-232009-09-27早上,集群一直在出现故障状态。故障出现的原因见下图日志:

 

 

节点:F1DB01

 

Sep 23 15:20:38 F1DB01 kernel: bonding: bond0: link status definitely down for interface eth1, disabling it

Sep 23 15:20:38 F1DB01 kernel: bonding: bond0: now running without any active interface !

Sep 23 15:20:54 F1DB01 clurgmgrd: [3829]: Link for bond0: Not detected

Sep 23 15:20:54 F1DB01 clurgmgrd: [3829]: No link on bond0...

Sep 23 15:20:54 F1DB01 clurgmgrd[3829]: status on ip "172.16.50.3" returned 1 (generic error)

Sep 23 15:20:54 F1DB01 clurgmgrd[3829]: Stopping service service:redhat-service

Sep 23 15:20:56 F1DB01 avahi-daemon[3681]: Withdrawing address record for 172.16.50.3 on bond0

 

节点:F1DB02

Sep 23 15:21:10 F1DB02 kernel: bonding: bond0: link status definitely down for interface eth1, disabling it

Sep 23 15:21:10 F1DB02 kernel: bonding: bond0: now running without any active interface !

Sep 23 15:21:39 F1DB02 clurgmgrd[4023]: Recovering failed service service:redhat-service

Sep 23 15:21:40 F1DB02 kernel: kjournald starting.  Commit interval 5 seconds

Sep 23 15:21:40 F1DB02 kernel: EXT3-fs warning: maximal mount count reached, running e2fsck is recommended

Sep 23 15:21:40 F1DB02 kernel: EXT3 FS on sdc1, internal journal

Sep 23 15:21:40 F1DB02 kernel: EXT3-fs: mounted filesystem with ordered data mode.

Sep 23 15:21:40 F1DB02 clurgmgrd: [4023]: Link for bond0: Not detected

 

从这2个节点日志分析,如红色标记看出,2个节点的“bond0“都挂掉了,也就是4个网口都宕掉的情况下,集群肯定会出问题。通过在客户这里了解,得知用户在23号在调整网络,对集群的网口造成很大影响导致的。

 

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/8334342/viewspace-616020/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2008-06-24

  • 博文量
    182
  • 访问量
    559456