ITPub博客

首页 > 数据库 > Oracle > ORACLE RAC 11.2.0.4 FOR RHEL6集群无法启动的处理

ORACLE RAC 11.2.0.4 FOR RHEL6集群无法启动的处理

原创 Oracle 作者:清风艾艾 时间:2018-12-06 16:18:24 0 删除 编辑

    ORACLE RAC 11.2.0.4 FOR RHEL6集群无法启动与RHEL的NetworkManager服务有关系,本文介绍一例相关

故障的处理。

    1、问题描述:

    oracle rac 11.2.0.4 for rhel6主机重启,重启之后发现oracle rac集群无法启动。

rac2主机启动后,发现rac集群启动不了,检查集群进程状态,发现cssd一直处于starting状态

[root@rac2 bin]# pwd

/u01/oracle/app/grid/home/bin

[root@rac2 bin]# ./crsctl stat res -t -init

--------------------------------------------------------------------------------

NAME           TARGET  STATE        SERVER                   STATE_DETAILS       

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  OFFLINE                               Instance Shutdown   

ora.cluster_interconnect.haip

      1        ONLINE  OFFLINE                                                   

ora.crf

      1        ONLINE  ONLINE       rac2                                         

ora.crsd

      1        ONLINE  OFFLINE                                                   

ora.cssd

      1        ONLINE  OFFLINE                               STARTING             

ora.cssdmonitor

      1        ONLINE  ONLINE       rac2                                         

ora.ctssd

      1        ONLINE  OFFLINE                                                   

ora.diskmon

      1        OFFLINE OFFLINE                                                   

ora.drivers.acfs

      1        ONLINE  OFFLINE                                                   

ora.evmd

      1        ONLINE  OFFLINE                                                   

ora.gipcd

      1        ONLINE  ONLINE       rac2                                         

ora.gpnpd

      1        ONLINE  ONLINE       rac2                                         

ora.mdnsd

      1        ONLINE  ONLINE       rac2                                         

[root@rac2 bin]# 

    2、问题分析

--由于集群启动到cssd无法继续正常启动,查看cssd的日志ocssd.log

发现有报错:has a disk HB, but no network HB

[root@rac2 bin]# tail -f /u01/oracle/app/grid/home/log/rac2/cssd/ocssd.log

2018-12-06 10:16:35.506: [    CSSD][2489263872]clssgmJoinGrock: global grock CRF- new client 0x7f268c118700 with con 0x7f2600004253, requested num -1, flags 0x4000e00

2018-12-06 10:16:35.506: [    CSSD][2489263872]clssgmJoinGrock: ignoring grock join for client not requiring fencing until group information has been received from the master; group name CRF-, member number -1, flags 0x4000e00

2018-12-06 10:16:35.506: [    CSSD][2489263872]clssgmDiscEndpcl: gipcDestroy 0x4253

2018-12-06 10:16:35.506: [    CSSD][2489263872]clssgmDeadProc: proc 0x7f268c116f40

2018-12-06 10:16:35.506: [    CSSD][2489263872]clssgmDestroyProc: cleaning up proc(0x7f268c116f40) con(0x4224) skgpid  ospid 2599 with 0 clients, refcount 0

2018-12-06 10:16:35.506: [    CSSD][2489263872]clssgmDiscEndpcl: gipcDestroy 0x4224

2018-12-06 10:16:35.754: [    CSSD][2275362560]clssnmvDHBValidateNcopy: node 1, rac1, has a disk HB, but no network HB , DHB has rcfg 439510562, wrtcnt, 336931, LATS 4294670080, lastSeqNo 336928, uniqueness 1544015571, timestamp 1544025004/8530004

2018-12-06 10:16:35.992: [    CSSD][2261169920]clssgmWaitOnEventValue: after CmInfo State  val 3, eval 1 waited 0

2018-12-06 10:16:36.288: [    CSSD][2265900800]clssnmvDHBValidateNcopy: node 1, rac1, has a disk HB, but no network HB, DHB has rcfg 439510562, wrtcnt, 336933, LATS 4294670610, lastSeqNo 336930, uniqueness 1544015571, timestamp 1544025004/8530494

2018-12-06 10:16:36.775: [    CSSD][2275362560]clssnmvDHBValidateNcopy: node 1, rac1, has a disk HB, but no network HB, DHB has rcfg 439510562, wrtcnt, 336934, LATS 4294671100, lastSeqNo 336931, uniqueness 1544015571, timestamp 1544025005/8531004

2018-12-06 10:16:36.993: [    CSSD][2261169920]clssgmWaitOnEventValue: after CmInfo State  val 3, eval 1 waited 0

2018-12-06 10:16:36.993: [GIPCHALO][2280093440] gipchaLowerProcessNode: no valid interfaces found to node for 4294671320 ms, node 0x7f267c0bd080 { host 'rac1', haName 'CSS_raccls', srcLuid 43347245-1561779d, dstLuid 00000000-00000000 numInf 0, contigSeq 0, lastAck 0, lastValidAck 0, sendSeq [572 : 572], createTime 4294099030, sentRegister 1, localMonitor 1, flags 0x4 }

2018-12-06 10:16:37.007: [GIPCHDEM][2485143296] gipchaDaemonInfRequest: sent local interfaceRequest,  hctx 0x115c700 [0000000000000010] { gipchaContext : host 'rac2', name 'CSS_raccls', luid '43347245-00000000', numNode 1, numInf 0, usrFlags 0x0, flags 0x63 } to gipcd

2018-12-06 10:16:37.289: [    CSSD][2265900800]clssnmvDHBValidateNcopy: node 1, rac1, has a disk HB, but no network HB, DHB has rcfg 439510562, wrtcnt, 336936, LATS 4294671610, lastSeqNo 336933, uniqueness 1544015571, timestamp 1544025005/8531494

2018-12-06 10:16:37.784: [    CSSD][2275362560]clssnmvDHBValidateNcopy: node 1, rac1, has a disk HB, but no network HB, DHB has rcfg 439510562, wrtcnt, 336937, LATS 4294672110, lastSeqNo 336934, uniqueness 1544015571, timestamp 1544025006/8532004

2018-12-06 10:16:37.907: [    CSSD][2489263872]clssgmExecuteClientRequest: MAINT recvd from proc 2 (0x7f268c0593b0)

2018-12-06 10:16:37.907: [    CSSD][2489263872]clssgmShutDown: Received abortive shutdown request from client.

2018-12-06 10:16:37.907: [    CSSD][2489263872]###################################

2018-12-06 10:16:37.907: [    CSSD][2489263872]clssscExit: CSSD aborting from thread GMClientListener

2018-12-06 10:16:37.907: [    CSSD][2489263872]###################################

2018-12-06 10:16:37.907: [    CSSD][2489263872](:CSSSC00012:)clssscExit: A fatal error occurred and the CSS daemon is terminating abnormally

[root@rac2 bin]# 


--根据cssd的日志ocssd.log检查节点间通信发现rac1到rac2的public网卡地址无法互相ping通

[grid@rac1 ~]$ ping rac2

PING rac2 (20.20.20.37) 56(84) bytes of data.

From rac1 (20.20.20.34) icmp_seq=1 Destination Host Unreachable

From rac1 (20.20.20.34) icmp_seq=2 Destination Host Unreachable

From rac1 (20.20.20.34) icmp_seq=3 Destination Host Unreachable

^C

--- rac2 ping statistics ---

5 packets transmitted, 0 received, +3 errors, 100% packet loss, time 4998ms

pipe 3

[grid@rac1 ~]$ 

[root@rac2 bin]# ping rac1

PING rac1 (20.20.20.34) 56(84) bytes of data.

From rac2 (20.20.20.37) icmp_seq=2 Destination Host Unreachable

From rac2 (20.20.20.37) icmp_seq=3 Destination Host Unreachable

From rac2 (20.20.20.37) icmp_seq=4 Destination Host Unreachable

From rac2 (20.20.20.37) icmp_seq=5 Destination Host Unreachable

From rac2 (20.20.20.37) icmp_seq=6 Destination Host Unreachable

From rac2 (20.20.20.37) icmp_seq=7 Destination Host Unreachable

^C

--- rac1 ping statistics ---

20 packets transmitted, 0 received, +15 errors, 100% packet loss, time 19395ms

pipe 4

[root@rac2 bin]# 


--但是rac1和rac2的priv私有网卡是通的

[root@rac2 bin]# ping rac1priv

PING rac1priv (172.25.25.1) 56(84) bytes of data.

64 bytes from rac1priv (172.25.25.1): icmp_seq=1 ttl=64 time=0.636 ms

^C

--- rac1priv ping statistics ---

1 packets transmitted, 1 received, 0% packet loss, time 727ms

rtt min/avg/max/mdev = 0.636/0.636/0.636/0.000 ms

[root@rac2 bin]# ping rac2priv

PING rac2priv (172.25.25.2) 56(84) bytes of data.

64 bytes from rac2priv (172.25.25.2): icmp_seq=1 ttl=64 time=0.018 ms

64 bytes from rac2priv (172.25.25.2): icmp_seq=2 ttl=64 time=0.030 ms

^C

--- rac2priv ping statistics ---

2 packets transmitted, 2 received, 0% packet loss, time 1300ms

rtt min/avg/max/mdev = 0.018/0.024/0.030/0.006 ms

[root@rac2 bin]# 

[grid@rac1 ~]$ ping rac1priv

PING rac1priv (172.25.25.1) 56(84) bytes of data.

64 bytes from rac1priv (172.25.25.1): icmp_seq=1 ttl=64 time=0.016 ms

^C

--- rac1priv ping statistics ---

1 packets transmitted, 1 received, 0% packet loss, time 897ms

rtt min/avg/max/mdev = 0.016/0.016/0.016/0.000 ms

[grid@rac1 ~]$ ping rac2priv

PING rac2priv (172.25.25.2) 56(84) bytes of data.

64 bytes from rac2priv (172.25.25.2): icmp_seq=1 ttl=64 time=0.162 ms

^C

--- rac2priv ping statistics ---

1 packets transmitted, 1 received, 0% packet loss, time 819ms

rtt min/avg/max/mdev = 0.162/0.162/0.162/0.000 ms

[grid@rac1 ~]$


--查看rac2的网络接口和网卡IP地址信息,发现四张网卡的IP地址均为集群私有网卡地址bond1的IP,

虽然bond0有IP地址,但是ping不通

[root@rac2 ~]# ifconfig -a

bond0     Link encap:Ethernet  HWaddr 08:00:27:11:69:E3  

          inet addr:20.20.20.37  Bcast:20.20.20.255  Mask:255.255.255.0

          inet6 addr: fe80::a00:27ff:fe11:69e3/64 Scope:Link

          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1

          RX packets:355 errors:0 dropped:0 overruns:0 frame:0

          TX packets:44 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0 

          RX bytes:220099 (214.9 KiB)  TX bytes:4611 (4.5 KiB)

bond1     Link encap:Ethernet  HWaddr 08:00:27:72:BE:6E  

          inet addr:172.25.25.2  Bcast:172.25.25.255  Mask:255.255.255.0

          inet6 addr: fe80::a00:27ff:fe72:be6e/64 Scope:Link

          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1

          RX packets:296 errors:0 dropped:0 overruns:0 frame:0

          TX packets:188 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0 

          RX bytes:185467 (181.1 KiB)  TX bytes:27072 (26.4 KiB)

eth0      Link encap:Ethernet  HWaddr 08:00:27:11:69:E3  

          inet addr:172.25.25.2  Bcast:172.25.25.255  Mask:255.255.255.0

          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:110 errors:0 dropped:0 overruns:0 frame:0

          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:88432 (86.3 KiB)  TX bytes:0 (0.0 b)

eth1      Link encap:Ethernet  HWaddr 08:00:27:9D:E6:00  

          inet addr:172.25.25.2  Bcast:172.25.25.255  Mask:255.255.255.0

          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:245 errors:0 dropped:0 overruns:0 frame:0

          TX packets:44 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:131667 (128.5 KiB)  TX bytes:4611 (4.5 KiB)

eth2      Link encap:Ethernet  HWaddr 08:00:27:72:BE:6E  

          inet addr:172.25.25.2  Bcast:172.25.25.255  Mask:255.255.255.0

          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:230 errors:0 dropped:0 overruns:0 frame:0

          TX packets:188 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:127461 (124.4 KiB)  TX bytes:27072 (26.4 KiB)

eth3      Link encap:Ethernet  HWaddr 08:00:27:CA:0D:9C  

          inet addr:172.25.25.2  Bcast:172.25.25.255  Mask:255.255.255.0

          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:66 errors:0 dropped:0 overruns:0 frame:0

          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:58006 (56.6 KiB)  TX bytes:0 (0.0 b)

lo        Link encap:Local Loopback  

          inet addr:127.0.0.1  Mask:255.0.0.0

          inet6 addr: ::1/128 Scope:Host

          UP LOOPBACK RUNNING  MTU:16436  Metric:1

          RX packets:20 errors:0 dropped:0 overruns:0 frame:0

          TX packets:20 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0 

          RX bytes:1141 (1.1 KiB)  TX bytes:1141 (1.1 KiB)

[root@rac2 ~]# 


--如果使用root执行service network restart之后,bond网卡均失去IP地址,并且外部机器均无法与rac2网络互通

--这种bond异常的状况,与rhel的NetworkManager服务管理网络服务有关

    3、问题处理

    在rhel主机使用网卡bond的状况下,rhel的NetworkManager管理网卡服务,会导致bond网卡绑定ip地址异常,需要

关闭NetworkManager并设置其不随机启动。

--关闭NetworkManager并设置其不随机启动

--重启网络服务,检查bond网卡正常

[root@rac2 ~]# ifconfig -a

bond0     Link encap:Ethernet  HWaddr 08:00:27:11:69:E3  

          inet addr:20.20.20.37  Bcast:20.20.20.255  Mask:255.255.255.0

          inet6 addr: fe80::a00:27ff:fe11:69e3/64 Scope:Link

          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1

          RX packets:5988 errors:0 dropped:0 overruns:0 frame:0

          TX packets:173 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0 

          RX bytes:5637836 (5.3 MiB)  TX bytes:21701 (21.1 KiB)

bond1     Link encap:Ethernet  HWaddr 08:00:27:72:BE:6E  

          inet addr:172.25.25.2  Bcast:172.25.25.255  Mask:255.255.255.0

          inet6 addr: fe80::a00:27ff:fe72:be6e/64 Scope:Link

          UP BROADCAST MASTER MULTICAST  MTU:1500  Metric:1

          RX packets:7780 errors:0 dropped:0 overruns:0 frame:0

          TX packets:2532 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0 

          RX bytes:5549280 (5.2 MiB)  TX bytes:368936 (360.2 KiB)

eth0      Link encap:Ethernet  HWaddr 08:00:27:11:69:E3  

          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:2171 errors:0 dropped:0 overruns:0 frame:0

          TX packets:73 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:2021551 (1.9 MiB)  TX bytes:7343 (7.1 KiB)

eth1      Link encap:Ethernet  HWaddr 08:00:27:9D:E6:00  

          BROADCAST SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:3817 errors:0 dropped:0 overruns:0 frame:0

          TX packets:100 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:3616285 (3.4 MiB)  TX bytes:14358 (14.0 KiB)

eth2      Link encap:Ethernet  HWaddr 08:00:27:72:BE:6E  

          BROADCAST SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:5916 errors:0 dropped:0 overruns:0 frame:0

          TX packets:2532 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:3764442 (3.5 MiB)  TX bytes:368936 (360.2 KiB)

eth3      Link encap:Ethernet  HWaddr 08:00:27:CA:0D:9C  

          BROADCAST SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:1864 errors:0 dropped:0 overruns:0 frame:0

          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:1784838 (1.7 MiB)  TX bytes:0 (0.0 b)

lo        Link encap:Local Loopback  

          inet addr:127.0.0.1  Mask:255.0.0.0

          inet6 addr: ::1/128 Scope:Host

          UP LOOPBACK RUNNING  MTU:16436  Metric:1

          RX packets:811 errors:0 dropped:0 overruns:0 frame:0

          TX packets:811 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0 

          RX bytes:4242930 (4.0 MiB)  TX bytes:4242930 (4.0 MiB)

[root@rac2 ~]# 

--检查rac2节点集群,发现单节点能够启动

[grid@rac2 ~]$ crsctl status res -t -init

--------------------------------------------------------------------------------

NAME           TARGET  STATE        SERVER                   STATE_DETAILS       

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       rac2                     Started             

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       rac2                                         

ora.crf

      1        ONLINE  ONLINE       rac2                                         

ora.crsd

      1        ONLINE  ONLINE       rac2                                         

ora.cssd

      1        ONLINE  ONLINE       rac2                                         

ora.cssdmonitor

      1        ONLINE  ONLINE       rac2                                         

ora.ctssd

      1        ONLINE  ONLINE       rac2                     ACTIVE:0            

ora.diskmon

      1        OFFLINE OFFLINE                                                   

ora.drivers.acfs

      1        ONLINE  ONLINE       rac2                                         

ora.evmd

      1        ONLINE  ONLINE       rac2                                         

ora.gipcd

      1        ONLINE  ONLINE       rac2                                         

ora.gpnpd

      1        ONLINE  ONLINE       rac2                                         

ora.mdnsd

      1        ONLINE  ONLINE       rac2                                         

[grid@rac2 ~]$ 


    小插曲,相比节点rac2,rac1的NetworkManager也在运行,节点rac2的eth网卡却均为public网卡地址,

虽然rac1的eth网卡均为public网卡地址,但是rac1节点的集群实例能正常启动。

[root@rac1 ~]# service NetworkManager status

NetworkManager (pid  1848) 正在运行...

[root@rac1 ~]# 

--节点rac2的eth网卡却均为public网卡地址

[grid@rac1 ~]$ ifconfig -a

bond0     Link encap:Ethernet  HWaddr 08:00:27:F8:54:9E  

          inet addr:20.20.20.34  Bcast:20.20.20.255  Mask:255.255.255.0

          inet6 addr: fe80::a00:27ff:fef8:549e/64 Scope:Link

          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1

          RX packets:42512 errors:0 dropped:0 overruns:0 frame:0

          TX packets:1542 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0 

          RX bytes:39197489 (37.3 MiB)  TX bytes:170518 (166.5 KiB)

bond0:1   Link encap:Ethernet  HWaddr 08:00:27:F8:54:9E  

          inet addr:20.20.20.26  Bcast:20.20.20.255  Mask:255.255.255.0

          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1

bond0:2   Link encap:Ethernet  HWaddr 08:00:27:F8:54:9E  

          inet addr:20.20.20.28  Bcast:20.20.20.255  Mask:255.255.255.0

          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1

bond0:3   Link encap:Ethernet  HWaddr 08:00:27:F8:54:9E  

          inet addr:20.20.20.25  Bcast:20.20.20.255  Mask:255.255.255.0

          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1

bond1     Link encap:Ethernet  HWaddr 08:00:27:6F:A8:F7  

          inet addr:172.25.25.1  Bcast:172.25.25.255  Mask:255.255.255.0

          inet6 addr: fe80::a00:27ff:fe6f:a8f7/64 Scope:Link

          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1

          RX packets:27140 errors:0 dropped:0 overruns:0 frame:0

          TX packets:43504 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0 

          RX bytes:14877318 (14.1 MiB)  TX bytes:39723988 (37.8 MiB)

bond1:1   Link encap:Ethernet  HWaddr 08:00:27:6F:A8:F7  

          inet addr:169.254.220.217  Bcast:169.254.255.255  Mask:255.255.0.0

          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1

eth0      Link encap:Ethernet  HWaddr 08:00:27:F8:54:9E  

          inet addr:20.20.20.34  Bcast:20.20.20.255  Mask:255.255.255.0

          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:22881 errors:0 dropped:0 overruns:0 frame:0

          TX packets:1391 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:20771703 (19.8 MiB)  TX bytes:158110 (154.4 KiB)

eth1      Link encap:Ethernet  HWaddr 08:00:27:76:6A:BA  

          inet addr:20.20.20.34  Bcast:20.20.20.255  Mask:255.255.255.0

          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:19631 errors:0 dropped:0 overruns:0 frame:0

          TX packets:151 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:18425786 (17.5 MiB)  TX bytes:12408 (12.1 KiB)

eth2      Link encap:Ethernet  HWaddr 08:00:27:6F:A8:F7  

          inet addr:20.20.20.34  Bcast:20.20.20.255  Mask:255.255.255.0

          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:13048 errors:0 dropped:0 overruns:0 frame:0

          TX packets:43504 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:1914331 (1.8 MiB)  TX bytes:39723988 (37.8 MiB)

eth3      Link encap:Ethernet  HWaddr 08:00:27:CA:32:4E  

          inet addr:20.20.20.34  Bcast:20.20.20.255  Mask:255.255.255.0

          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1

          RX packets:14092 errors:0 dropped:0 overruns:0 frame:0

          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:12962987 (12.3 MiB)  TX bytes:0 (0.0 b)

lo        Link encap:Local Loopback  

          inet addr:127.0.0.1  Mask:255.0.0.0

          inet6 addr: ::1/128 Scope:Host

          UP LOOPBACK RUNNING  MTU:16436  Metric:1

          RX packets:79993 errors:0 dropped:0 overruns:0 frame:0

          TX packets:79993 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0 

          RX bytes:55828936 (53.2 MiB)  TX bytes:55828936 (53.2 MiB)

[grid@rac1 ~]$ 

--虽然rac1的eth网卡均为public网卡地址,但是rac1节点的集群实例能正常启动

[grid@rac1 ~]$ crs_stat -t

Name           Type           Target    State     Host        

------------------------------------------------------------

ora.ARCHDG.dg  ora....up.type ONLINE    ONLINE    rac1        

ora.CRSDG.dg   ora....up.type ONLINE    ONLINE    rac1        

ora.DATADG.dg  ora....up.type ONLINE    ONLINE    rac1        

ora....ER.lsnr ora....er.type ONLINE    ONLINE    rac1        

ora....N1.lsnr ora....er.type ONLINE    ONLINE    rac1        

ora.asm        ora.asm.type   ONLINE    ONLINE    rac1        

ora.cvu        ora.cvu.type   ONLINE    ONLINE    rac1        

ora.gsd        ora.gsd.type   OFFLINE   OFFLINE               

ora....network ora....rk.type ONLINE    ONLINE    rac1        

ora.oc4j       ora.oc4j.type  ONLINE    ONLINE    rac1        

ora.ons        ora.ons.type   ONLINE    ONLINE    rac1        

ora.orcl.db    ora....se.type ONLINE    ONLINE    rac1        

ora....SM1.asm application    ONLINE    ONLINE    rac1        

ora....C1.lsnr application    ONLINE    ONLINE    rac1        

ora.rac1.gsd   application    OFFLINE   OFFLINE               

ora.rac1.ons   application    ONLINE    ONLINE    rac1        

ora.rac1.vip   ora....t1.type ONLINE    ONLINE    rac1        

ora.rac2.vip   ora....t1.type ONLINE    ONLINE    rac1        

ora....ry.acfs ora....fs.type ONLINE    ONLINE    rac1        

ora.scan1.vip  ora....ip.type ONLINE    ONLINE    rac1        

[grid@rac1 ~]$ crsctl stat res -t -init

--------------------------------------------------------------------------------

NAME           TARGET  STATE        SERVER                   STATE_DETAILS       

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       rac1                     Started             

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       rac1                                         

ora.crf

      1        ONLINE  ONLINE       rac1                                         

ora.crsd

      1        ONLINE  ONLINE       rac1                                         

ora.cssd

      1        ONLINE  ONLINE       rac1                                         

ora.cssdmonitor

      1        ONLINE  ONLINE       rac1                                         

ora.ctssd

      1        ONLINE  ONLINE       rac1                     ACTIVE:0            

ora.diskmon

      1        OFFLINE OFFLINE                                                   

ora.drivers.acfs

      1        ONLINE  ONLINE       rac1                                         

ora.evmd

      1        ONLINE  ONLINE       rac1                                         

ora.gipcd

      1        ONLINE  ONLINE       rac1                                         

ora.gpnpd

      1        ONLINE  ONLINE       rac1                                         

ora.mdnsd

      1        ONLINE  ONLINE       rac1                                         

[grid@rac1 ~]$ 

    继续处理集群启动异常的问题。

--关闭节点rac1的NetworkManager服务并并设置其不开机启动,然后重启主机

[root@rac1 ~]# service NetworkManager status

NetworkManager (pid  1848) 正在运行...

[root@rac1 ~]# service NetworkManager stop

停止 NetworkManager 守护进程:                             [确定]

[root@rac1 ~]# 

[root@rac1 ~]# chkconfig NetworkManager off

[root@rac1 ~]#

[root@rac1 ~]# reboot

Broadcast message from root@rac1

(/dev/pts/0) at 0:16 ...

The system is going down for reboot NOW!

[root@rac1 ~]# 

    4、问题处理结果,调整完2个节点的NetworkManager后,同时重启2台服务器后,oracle rac集群恢复正常

--调整完2个节点的NetworkManager后,检查集群状态,oracle rac集群恢复正常

[grid@rac2 ~]$ crsctl stat res -t

--------------------------------------------------------------------------------

NAME           TARGET  STATE        SERVER                   STATE_DETAILS       

--------------------------------------------------------------------------------

Local Resources

--------------------------------------------------------------------------------

ora.ARCHDG.dg

               ONLINE  ONLINE       rac1                                         

               ONLINE  ONLINE       rac2                                         

ora.CRSDG.dg

               ONLINE  ONLINE       rac1                                         

               ONLINE  ONLINE       rac2                                         

ora.DATADG.dg

               ONLINE  ONLINE       rac1                                         

               ONLINE  ONLINE       rac2                                         

ora.LISTENER.lsnr

               ONLINE  ONLINE       rac1                                         

               ONLINE  ONLINE       rac2                                         

ora.asm

               ONLINE  ONLINE       rac1                     Started             

               ONLINE  ONLINE       rac2                     Started             

ora.gsd

               OFFLINE OFFLINE      rac1                                         

               OFFLINE OFFLINE      rac2                                         

ora.net1.network

               ONLINE  ONLINE       rac1                                         

               ONLINE  ONLINE       rac2                                         

ora.ons

               ONLINE  ONLINE       rac1                                         

               ONLINE  ONLINE       rac2                                         

ora.registry.acfs

               ONLINE  ONLINE       rac1                                         

               ONLINE  ONLINE       rac2                                         

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.LISTENER_SCAN1.lsnr

      1        ONLINE  ONLINE       rac2                                         

ora.cvu

      1        ONLINE  ONLINE       rac1                                         

ora.oc4j

      1        ONLINE  ONLINE       rac1                                         

ora.orcl.db

      1        ONLINE  ONLINE       rac2                     Open                

      2        ONLINE  ONLINE       rac1                     Open                

ora.rac1.vip

      1        ONLINE  ONLINE       rac1                                         

ora.rac2.vip

      1        ONLINE  ONLINE       rac2                                         

ora.scan1.vip

      1        ONLINE  ONLINE       rac2                                         

[grid@rac2 ~]$ 

[grid@rac1 ~]$ crsctl stat res -t -init

--------------------------------------------------------------------------------

NAME           TARGET  STATE        SERVER                   STATE_DETAILS       

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       rac1                     Started             

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       rac1                                         

ora.crf

      1        ONLINE  ONLINE       rac1                                         

ora.crsd

      1        ONLINE  ONLINE       rac1                                         

ora.cssd

      1        ONLINE  ONLINE       rac1                                         

ora.cssdmonitor

      1        ONLINE  ONLINE       rac1                                         

ora.ctssd

      1        ONLINE  ONLINE       rac1                     ACTIVE:0            

ora.diskmon

      1        OFFLINE OFFLINE                                                   

ora.drivers.acfs

      1        ONLINE  ONLINE       rac1                                         

ora.evmd

      1        ONLINE  ONLINE       rac1                                         

ora.gipcd

      1        ONLINE  ONLINE       rac1                                         

ora.gpnpd

      1        ONLINE  ONLINE       rac1                                         

ora.mdnsd

      1        ONLINE  ONLINE       rac1                                         

[grid@rac1 ~]$ 

[grid@rac1 ~]$ crs_stat -t

Name           Type           Target    State     Host        

------------------------------------------------------------

ora.ARCHDG.dg  ora....up.type ONLINE    ONLINE    rac1        

ora.CRSDG.dg   ora....up.type ONLINE    ONLINE    rac1        

ora.DATADG.dg  ora....up.type ONLINE    ONLINE    rac1        

ora....ER.lsnr ora....er.type ONLINE    ONLINE    rac1        

ora....N1.lsnr ora....er.type ONLINE    ONLINE    rac2        

ora.asm        ora.asm.type   ONLINE    ONLINE    rac1        

ora.cvu        ora.cvu.type   ONLINE    ONLINE    rac1        

ora.gsd        ora.gsd.type   OFFLINE   OFFLINE               

ora....network ora....rk.type ONLINE    ONLINE    rac1        

ora.oc4j       ora.oc4j.type  ONLINE    ONLINE    rac1        

ora.ons        ora.ons.type   ONLINE    ONLINE    rac1        

ora.orcl.db    ora....se.type ONLINE    ONLINE    rac2        

ora....SM1.asm application    ONLINE    ONLINE    rac1        

ora....C1.lsnr application    ONLINE    ONLINE    rac1        

ora.rac1.gsd   application    OFFLINE   OFFLINE               

ora.rac1.ons   application    ONLINE    ONLINE    rac1        

ora.rac1.vip   ora....t1.type ONLINE    ONLINE    rac1        

ora....SM2.asm application    ONLINE    ONLINE    rac2        

ora....C2.lsnr application    ONLINE    ONLINE    rac2        

ora.rac2.gsd   application    OFFLINE   OFFLINE               

ora.rac2.ons   application    ONLINE    ONLINE    rac2        

ora.rac2.vip   ora....t1.type ONLINE    ONLINE    rac2        

ora....ry.acfs ora....fs.type ONLINE    ONLINE    rac1        

ora.scan1.vip  ora....ip.type ONLINE    ONLINE    rac2        

[grid@rac1 ~]$ 


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/29357786/viewspace-2284397/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
个人喜欢IT行业,目前从事数据库工作,包括Oracle、mysql、mongodb、sqlserver等数据库的维护,喜欢专研开发技术,尤其对java程序的开发感兴趣。工作经历上,在中国联通系统集成公司、中公网医疗信息技术有限公司做过数据库技术支持;目前在海量数据,负责华东区oracle、mysql、mongodb的维护工作。

注册时间:2015-01-30

  • 博文量
    170
  • 访问量
    186756