1、数据库告警：
数据库无法连接

2、环境：
系统：AIX 5300
数据库：Oracle 9i RAC

3、现象：
>节点1数据库宕
>节点2数据库部分命令hang住
>不久节点2数据库也宕掉

4、问题排查
1)、数据库日志alert*.log
Mon Mar 20 09:26:39 2017
Errors in file /oracle/app/oracle/admin/nhyx/bdump/nhyx1_arc3_319640.trc:
ORA-00600: internal error code, arguments: [2103], [1], [0], [1], [900], [], [], []
。。。
Tue Mar 21 00:15:30 2017
Errors in file /oracle/app/oracle/admin/nhyx/bdump/nhyx1_lms3_184850.trc:
ORA-00600: internal error code, arguments: [], [], [], [], [], [], [], []

2)trace文件内容：
TIMEOUT ON CONTROL FILE ENQUEUE
mode=S, type=0, wait=1, eqt=900
Submitting asynchronized dump request [1]
*** 2017-03-20 09:26:39.740
ksedmp: internal or fatal error
ORA-00600: internal error code, arguments: [2103], [1], [0], [1], [900], [], [], []

3）问题确认
控制文件超时报错，怀疑存储出现问题，通过dd命令测试：
结果：参数文件、控制文件可读，但很慢；数据文件不可读！
time dd if=/dev/rspfile of=/dev/null bs=8k
time dd if=/dev/rcontrol01 of=/dev/null bs=8k
time dd if=/dev/rapplv01 of=/dev/null bs=8k

5、主机组配合确认原因：
存储有两条链路，其中一条报错。隔离坏的链路后存储恢复正常。

6、环境检查
数据库启动后，业务恢复正常。

ITPub博客

ORA-00600: [2103], [1], [0], [1], [900], [], [], []

最新文章