今天登录EM（虚拟机练习环境）， 提示EM关闭状态，查看数据库，发现实例没启动。
startup 时提示 ORA-03113: end-of-file on communication channel

产看alter log中发现如下错误
-------------------------------------------------------------------
ARC0: Error 19504 Creating archive log file to '+DATA'
Errors in file /u01/app/oracle/diag/rdbms/ocpasm1/OCPASM1/trace/OCPASM1_arc1_11472.trc:
ORA-19816: WARNING: Files may exist in db_recovery_file_dest that are not known to database.
ORA-17502: ksfdcre:4 Failed to create file +DATA
ORA-15041: diskgroup "DATA" space exhausted
--------------------------------------------------------------------
startup mount 后 确认DATA group剩余空间不足：

SQL> select group_number,name,state,total_mb,free_mb from v$asm_diskgroup;
GROUP_NUMBER NAME       STATE                  TOTAL_MB    FREE_MB
------------ ----------            ----------------------   ----------        ----------
           1 DATA                  MOUNTED               4000           6
           2 FRA                    MOUNTED               3000           2946
           3 OCR                   MOUNTED               3000           1880

于是查询asm vg 发现还有剩余空间，太好了可以扩展
[root@OCPLHR ~]# vgdisplay
  --- Volume group ---
  VG Name               vg_oraasm
  System ID             
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  2
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                1
  Open LV               1
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               15.00 GB
  PE Size               4.00 MB
  Total PE              3839
  Alloc PE / Size       3584 / 14.00 GB
  Free  PE / Size       1020 / 1020.00 MB
  VG UUID               QHMkJt-XJfQ-gL9a-antn-6jfJ-OOdH-3vSll1
--------------------------
于是添加磁盘并扩展DATA group：
dd if=/dev/zero of=/asmdisk/disk9 bs=1024k count=1000
/sbin/losetup /dev/loop9 /asmdisk/disk9
raw /dev/raw/raw9 /dev/loop9
chmod 660 /dev/raw/raw9
chown oracle:dba /dev/raw/raw9

grid>sqlplus / as sysasm
alter diskgroup DATA add disk '/dev/raw/raw9';
select operation,est_minutes from v$asm_operation; #确认冗余平衡完成

重启数据库后，数据库恢复正常。
SQL> select name,group_number,state,redundancy,total_mb,free_mb,path from v$asm_disk;

NAME       GROUP_NUMBER STATE            REDUNDANCY       TOTAL_MB    FREE_MB PATH
---------- ------------ ---------------- -------------- ---------- ---------- ------------------------------
FRA_0002              2 NORMAL           UNKNOWN              1000        981 /dev/raw/raw8
FRA_0001              2 NORMAL           UNKNOWN              1000        983 /dev/raw/raw7
FRA_0000              2 NORMAL           UNKNOWN              1000        982 /dev/raw/raw6
DATA_0002             1 NORMAL           UNKNOWN              1000        223 /dev/raw/raw5
DATA_0001             1 NORMAL           UNKNOWN              1000        214 /dev/raw/raw4
DATA_0000             1 NORMAL           UNKNOWN              1000        220 /dev/raw/raw3
OCR_0001              3 NORMAL           UNKNOWN              1000        940 /dev/raw/raw2
OCR_0000              3 NORMAL           UNKNOWN              1000        940 /dev/raw/raw1
DATA_0003             1 NORMAL           UNKNOWN              1000        248 /dev/raw/raw9


最后发现 EM没启动
emctl status dbconsole       
Oracle Enterprise Manager 11g Database Control Release 11.2.0.3.0 
Copyright (c) 1996, 2011 Oracle Corporation.  All rights reserved.
https://OCPLHR:1158/em/console/aboutApplication
Oracle Enterprise Manager 11g is not running. 

手动启动EM：
emctl start dbconsole
Oracle Enterprise Manager 11g Database Control Release 11.2.0.3.0 
Copyright (c) 1996, 2011 Oracle Corporation.  All rights reserved.
https://OCPLHR:1158/em/console/aboutApplication
Starting Oracle Enterprise Manager 11g Database Control ..... started. 
------------------------------------------------------------------
Logs are generated in directory /u01/app/oracle/product/11.2.0/dbhome_1/OCPLHR_OCPASM1/sysman/log 

问题解决