数据库高io问题调查
一、现象：
rac集群，有点慢，经检查库运行还正常，但io非常高。iowait达到100%。
二、分析与处理
iostat -d -x -k 2 |grep dm-
发现+DATADG对应的dm都繁忙，另外一个+ARCHDG对应的dm空闲。
判断确实是数据库请求导致磁盘繁忙。
查锁，没有。
查wait session，查awr报告，查到某些疑似wait进程，kill后没有改善。
检查cron里expdp进程，log长时间没有走，导出hang住了。
expdp attach 进入任务查看，执行kill_job，经过很长时间才kill成功。
但查看io仍然100%。
cd /var/log/sa
查看历史io记录tail sar10
示例：
19:50:01 0.00 17.38 66.10 0.00
20:00:01 0.00 17.20 57.43 0.00
20:10:01 0.00 27.44 243.20 0.00
20:20:01 0.04 18.60 68.21 0.00
20:30:01 0.00 17.75 69.12 0.00
从前一日的15：32之后出现dm磁盘占用100%。
检查与此时间点比较符合的进程。
ps -eo pid,lstart,etime,cmd |grep 'Fri Dec 11'
查到3个pid，是'LOCAL=NO'进程。
检查对应的spid、sid、session、sql_text，进行分析。
kill后，还是 磁盘占用100%，但过半小时后，io降下来了。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/30186176/viewspace-2741472/ ，如需转载，请注明出处，否则将追究法律责任。
