容灾切换中的数据库宕机问题简单分析(一)
最近对一个统计库做了计划内的容灾切换,即主备切换。操作的过程其实还是蛮顺利的。但是灾难切换中如果出现在问题,那就是灾难中的灾难了。按照计划对配置信息做了同步,然后使用DG Broker做了SwitchOver操作。这一次切换速度还是蛮快,我开了几个窗口看到日志都在不断输出,角色已经替换过来了。DG Broker切换的日志如下...
一则数据库无法重启的案例分析
今天一个开发的同事找到我,说有个问题想咨询一下我,突然想起他昨天让我帮他处理一个工单,他这么一问我才想起来还没做,结果他说是另外一件事,说有个开发测试的环境,数据库报04031的错误,想让我帮忙看看是怎么回事,这种问题刚好就找对了。首先开发测试环境,访问量不高,业务量不大,环境也要简单很多,出现这...
关于数据库无法登录的问题反思
昨天接到了同事的一个电话,说有一个数据库无法访问了,希望能够让我来看看,赶紧连过去,发现错误还是一个看似很简单的ora错误。<br />$ sqlplus / as sysdba<br />Copyright (c) 1982, 2011, Oracle. All rights reserved.<br />ERROR:<br />ORA-09817: Write to audit file failed.<br />Linux-x86_64 Error:...
一天内碰到的3个rac节点问题
说到问题,真是层出不穷,自己搭建了也不少的rac的环境的,但是在本地试验的时候总是会碰到一些问题,昨晚铲掉旧环境,搭建了两遍rac环境,终于在凌晨搭建好了环境,配置好EM,看了下效果,还不错,然后就把虚拟机设为suspend状态,早上打开虚拟机发现两个节点都自动停掉了,再次重启就启动不了了。 使用srvctl...
一次数据库宕机问题的分析
今天来到办公室,发现有一台服务器中的数据库实例停掉了。这种情况真是意料之外,尤其是我还不是很熟悉这台机器的服务。赶紧查看数据库日志,可以看到数据库在昨晚停掉了,从日志来看没有人为的痕迹。在宕机之前,有下面的日志。在此截取一部分。
我身边的一些数据库事故
最近携程的数据事故闹得沸沸扬扬,不管是什么原因,问题终究发生了。在问题发生的时候,更关键的是解决方法和防范措施,一般在升级或者重大的生产演练中,我们都有一个lesson learn,就是总结问题,总结经验,防范规范。一线人员在各种重大活动中都发挥了重要的作用,我还是喜欢那句华为任正非的那句话:让听得见炮声的人指...
由hugepage设置导致的数据库事故
近期客户希望提高业务处理能力,在现有的环境中加入几台weblogic服务器,所以需要增加一下连接数的配置,但是同时他们想对现有系统的设置一些变更,最后发送了一个清单给我们。 大体的变更如下: Change Processes from 10000 to 18000 Change PGA from 10G to 20G Change Buffer Cache from 20G to 40G Change Sh...
一次数据库无法登陆的问题及排查
今天在中午的时候,收到客户的邮件,说数据库访问有问题了,赶紧连到生产环境查看。结果在尝试登录的时候报了listener的错误,感觉像是listener停了一样。> sqlplus n1/n1@xxxxSQL*Plus: Release 11.2.0.2.0 Production on Mon Dec 29 12:33:23 2014Copyright (c) 1982, 2010, Oracle. All rights reserved.ERRO...
memory_target设置不当导致数据库无法启动的问题
今天在做一个问题排查的时候碰到了另外一个有些“奇怪的”问题。我们在测试库中已经禁用了SGA自动存储管理,结果在spfile文件里丢掉了shared_pool_size的配置测试环境的参数类似下面的样子sga_max_size big integer 1200Msga_targ...
一次数据库无法登陆的"问题"及排查
继昨天发生san存储切换导致io等待异常高的问题后,晚上客户对测试环境的数据库进行了远程启动,因为库比较多,监控process都起来了。客户就发邮件通知测试组继续测试。结果早上测试反馈有一个库怎么都等不了。他们提供的日志如下:sqlplus test3c/xxxx@testdbSQL*Plus: Release 11.2.0.2.0 Production on Sat Jun 21 12...
归档问题导致的数据库无法启动
本地有一个小的环境,今天照例登上sqlplus,突然发现报了如下的错误。一看原来归档满了。我记得前几天做一个批量操作临时把temp文件resize了很大,限于本地空间有限。准备改回去。把多余的归档删除了。 sqlplus n1/n1 .... ERROR: ORA-00257: archiver error. Connect internal only, until freed. 这个时候sysd...
rac节点无法启动ORA-29702的问题及分析
今天在虚拟机上启动rac,发现有一个节点怎么都起不了。另外一个节点没问题。 SQL> startup nomount ORA-29702: error occurred in Cluster Group Service operation 尝试使用crs_stat查看crs的组件状态,也报错了。 -bash-4.1$ crs_stat -t CRS-0184: Cannot communicate with the CRS daemon. 查看alert日志,发...
数据库shutdown之后无法启动的问题
最近在已有数据库服务器上又新建了4个数据库实例,目前一共有9个数据库实例。环境搭好以后做检查的时候。根据反馈,有个job报如下的错误。Failed to create connection for url=jdbc:oracle:thin:@xxxxx and dbUser=xxxxxxNested Exception/Error: java.sql.SQLRecoverableException: IO Error: Got minus one fr...
一条sql语句导致的数据库宕机问题及分析
之前分享过一篇博文,是一条sql语句"导致"的数据库宕机,上次是另有原因,这次真碰到一个案例,而且是在重要的环境上,希望大家引以为戒。数据库是基于Linux64的版本,版本是11.2.0.2.0,已经打了最新的psu.数据库的访问用户数大约在1000左右,当时查看服务器的cpu已经是100%了,有大约10个进程都是cpu 100%,数据库逻辑读...
一条sql语句“导致”的数据库宕机问题及分析
最近测试环境需要做一些变更,把测试环境切分成两套环境,存储空间也需要压缩压缩和整理。unix组的人已经开始做空间划分了,然后我们需要在此基础上重建一套环境。有些数据文件使用空间不大,所以准备压缩一下。用了下面的sql语句,结果跑了十几秒中就抛了下面的错误。SQL> set linesize 200SQL> col name for a40SQ...
服务器增加内存后无法重启数据库的问题及解决
前几天生产环境需要做服务器的扩容,把原本64G的内存扩到了128G.然后调整了一些其他的kernel参数,在此基础上需要调整sga的大小,以便分配更多的缓存。环境是11gR2的RAC环境,这时候rac有一个明显的优点就显现出来了,就是没有downtime。一个实例一个实例的改动,调整kernel,db参数都很方便管理。所在的每个服务器只有一个...
数据库突然宕机的问题及分析
昨天晚上,某个环境的数据库在做一个压力测试的时候突然宕机了。这个问题比较急。马上查看日志文件。看到了如下的一段,报了os级的linux错误。提示没有空间了。Fri Mar 14 19:16:47 2014Archived Log entry 192 added for thread 1 sequence 192 ID 0x1ed7a02c dest 1:Fri Mar 14 19:39:24 2014Incremental checkpoin...
数据库突然宕机无法open的问题及解决
测试的数据库有一天突然宕机,然后无法正常open了,这个问题虽然过去了一段时间,也在这儿总结一把。从alert日志中的信息如下。Fri Jan 10 16:09:42 2014Archived Log entry 6837 added for thread 1 sequence 6863 ID 0x19db56aa dest 1:Fri Jan 10 16:12:59 2014Errors in file /oravl01/oracle/adm/FETABP2/diag/rd...
10g升级至11g后数据库无法启动的问题解决
今天升级数据库碰到一个很郁闷的问题,把10g的数据库升级到11g以后,结果有一个改动,需要重启数据库,就敲了shutdown immediate,结果再startup,数据库竟然起不来了。$ORACLE_HOME,$ORACLE_SID等等变...