ITPub博客

首页 > 数据库 > Oracle > quan:Exadata计算节点由kswapd0进程引起的IO使用率100%,内存不足的故障处理

quan:Exadata计算节点由kswapd0进程引起的IO使用率100%,内存不足的故障处理

原创 Oracle 作者:libingquan008 时间:2015-09-22 11:03:48 0 删除 编辑

系统环境:Exadata X2-2 1/4 Rack, 11.2.0.3.7 RAC
问题描述:计算节点二登陆异常缓慢,系统资源严重不足,SWAP交换分区剩余0





解决步骤:

首先看到用IOstat统计 util%已经达到了100%,说明本地磁盘使用率已经慢负荷运转,但是Exadata是比较特殊的系统,
IO的压力主要在cell节点。本地磁盘出现IO消耗高是十分异常的事件,因此我们通过
ps -eo pid,user,wchan=WIDE-WCHAN-COLUMN -o s,cmd|awk ' $4 ~ /D/ {print $0}' 这条命令去抓系统内占用IO的进程:
  1. [dsg@sddxdb02 scripts]$ ps -eo pid,user,wchan=WIDE-WCHAN-COLUMN -o s,cmd|awk ' $4 ~ /D/ {print $0}'
  2. 209 root congestion_wait D [kswapd0]
  3. [dsg@sddxdb02 scripts]$ ps -eo pid,user,wchan=WIDE-WCHAN-COLUMN -o s,cmd|awk ' $4 ~ /D/ {print $0}'
  4. 209 root congestion_wait D [kswapd0]
  5. 127931 grid sync_page D oracle+ASM2_asmb_exadb2 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))
  6. [dsg@sddxdb02 scripts]$ ps -eo pid,user,wchan=WIDE-WCHAN-COLUMN -o s,cmd|awk ' $4 ~ /D/ {print $0}'
  7. 209 root congestion_wait D [kswapd0]
 从上面可以看到系统内kswapd0进程在消耗IO。关于KSwapd0的解释:
1.Linux uses kswapd for virtual memory management such that pages that have been recently accessed are kept in memory and less active pages are paged out to disk.
2.系统每过一定时间就会唤醒kswapd进程,查看内存资源是否紧张,如果不紧张,则继续睡眠,在kswapd中,有2个阀值,pages_hige和pages_low,当空闲内存页的数量低于pages_low的时候,kswapd进程就会扫描内存并且每次释放出 32个free pages,直到free page的数量到达pages_high.

也就是说kswapd0是有内存资源不足而唤醒的,它去扫描并释放空闲内存,期间会执行大量的换页操作,极有可能就是此进程造成的IO 100%耗尽。

但是SWAP为什么会被消耗尽呢?我们进一步通过命令观察内存使用情况:ps aux --sort=%mem



这条dbfs_client进程格外异常,我们看到在 %MEM这一列此进程占用了49.8%。经过与现场沟通,DBFS仅作为
测试使用,没有在生产环境上用起来,早就停止不用了,但是没有关闭掉,DBFS还在挂载中。

于是执行卸载DBFS的命令:
fusermount -u /dbfs

稍后对系统资源进行了监控,TOP,iostat 观察输出结果:

IO负载已恢复正常:


swap区已降下来,换页频度下降同时kswapd0进程消失:



通过上面的处理,系统性能恢复正常。但是DBFS消耗这么高的内存尚属首次碰到,需要进一步研究, 在此记录下的分析过程同样适用于非一体机环境。

参考文档:

https://oracle-base.com/articles/11g/dbfs-11gr2

http://www.eygle.com/archives/2010/12/kswapd_rac.html




来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/22878696/viewspace-1805953/,如需转载,请注明出处,否则将追究法律责任。

下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2011-02-10

  • 博文量
    46
  • 访问量
    119567