硬件平台 & 操作系统	Linux x86 64-bit
操作系统版本	6.10
内存	16G
Oracle 产品及版本	Oracle 11.2.0.4

下午收到用户通知数据库由于归档占用空间满，增加了硬盘需要做lvm 扩容，工程师登录操作系统检查发现，新增的硬盘并没有加载到服务器中，建议重启服务器重新认盘。下午5 点对服务器重启，发现一直卡住不能正常进入到操作系统中。

排查处理过程

5 月12 日下午5 点重启数据库服务器，一直卡住 modprobe 加载模块上，如下图：

通过该启动图片，但看不出来加载什么模块，初步决定进入单用户模式去检查，发现单用户模式不能进入，后续通过操作系统安装光盘使用营救模式进入，通过检查发现加载的模块有400 多个，如果要排查需要花费比较长的时间，通过内部交流，并与用户商量，工程师给出相对较快的恢复方式，通过安装新操作系统，直接把原来的操作系统的数据盘直接挂载过来，通过新操作系统来启动数据库。

下午6 点半，工程师开始安装新操作系统，并于7 点安装完成，开始挂载源数据盘。

[root@nursing ~]# vgscan

[root@nursing ~]# vgchange -ay vg_mcsdb

[root@nursing ~]# mount /dev/mapper/vg_mcsdb-lv_home /home

[root@nursing ~]# ls -l /home/

total 32

drwxr-xr-x. 7 1101 1101 4096 Oct 15 2020 app

drwx------. 24 500 500 4096 Mar 22 2021 ewell

drwx------. 2 1101 1101 16384 Oct 13 2020 lost+found

drwx------ 4 1101 1102 4096 Nov 26 2020 mockbuild

drwx------. 34 1101 1101 4096 May 11 20:10 oracle

根据数据盘的权限，创建oracle 用户及相关属主：

[root@nursing ~]# gropadd -g 1100 oinstall

[root@nursing ~]# groupadd -g 1100 oinstall

[root@nursing ~]# groupdel oinstall

[root@nursing ~]# groupadd -g 1100 oinstall

[root@nursing ~]# groupadd dba

[root@nursing ~]# useradd -u 1100 -g oinstall -G dba oracle

操作系统相关配置修改

[root@nursing ~]# service iptable stop

[root@nursing ~]# chkconfig iptables off

[root@nursing ~]# service NetworkManager stop

[root@nursing ~]# chkconfig NetworkManager off

[root@nursing ~]# vi /etc/selinux/config

修改：SELINUX=disabled

[root@nursing ~]# yum install binutils compat-libstdc++-33 compat-libstdc++-296 elfutils-libelf elfutils-libelf-devel gcc gcc-c++ glibc glibc-common glibc-devel glibc-headers libaio libaio-devel libgcc libstdc++ libstdc++-devel make openmotif sysstat unixODBC unixODBC-devel compat-libcap1

[root@nursing ~]# vi/etc/hosts

增加：172.20.1.14 nursing

配置完成，启动数据库正常，重启服务器验证正常。

归档定时清理配置：

[root@nursing ~]# crontab -l

10 20 * * * su - oracle -c "/home/oracle/del_arch.sh"

[root@nursing ~]# cat /home/oracle/del_arch.sh

#!/bin/bash

source /home/oracle/.bash_profile

rman target / >/home/oracle/bak.log <<EOF

crosscheck archivelog all;

delete noprompt expired archivelog all;

delete noprompt archivelog all completed before 'sysdate-3';

exit;

EOF

1 、重启卡住问题，从启动界面上看，是加载modprobe 模块出现了问题，应该是在使用过程中，有人修改了不正确的模块配置导致，建议后续如果要修改操作系统内核参数及相关模块配置先做评估。

2 、建议对该库做容灾，这样后续如果发生问题，可以快速切换过去。

3 、数据库服务器不建议dba 以外的人员登陆服务器修改参数和安装其他软件。

ITPub博客

数据库主机重启卡住问题处理分享

排查处理过程

最新文章