ITPub博客

首页 > Linux操作系统 > Linux操作系统 > rac 的interconnect

rac 的interconnect

原创 Linux操作系统 作者:myownstars 时间:2011-05-24 13:12:53 0 删除 编辑

MTU

NIC bonding—逻辑上连接两个或更多的物理NIC卡以提供冗余和更高的吞吐

LMS—lock manager server,负责传输cache fusion的数据块;默认情况两个CPU开启一个LMS

 

调整优化区域

Interconnect network

1、  interconncet协议

最常见的是UDP,IC最稳定的;另外一个是IP over infiniband(IB);RAC10.2.0.3以及之后的版本,支持Reliable Datagram Socket(RDS),消耗CPU和延迟更低

2、网卡network interface card bonding

   可以通过逻辑绑定多个网卡来提供冗余和更高的吞吐;一般网卡的带宽占有率占到interconnect10-30%,超过70%则认为网络饱和

3、集群网络验证

最常见的是interconnect连接到了public

Cluvfy comp nodecon –n rac1

Oifcfg getif

查看db启动时候的alertlog

X$ksxpia

监控interconnect网络

监控丢包、超时、溢出和接受错误

Errors/dropped—标明网络有问题

Overruns—buffer overrun,需要重传导致网络过量传输

RX/TX—显示了传输和接受到的数据量

通过ifconfig –a/netstat –s可以得到

丢包会对DB有直接的影响,案例:丢包导致virtual IP离线,进而进程关闭了ASMDB

While [1]; do date; ping –q –c 5 ***.**.**.*** | grep –v “\-“ | grep –v “rtt” | grep –v “PING” | grep –v “^$”; sleep 1; done

 

AWR report

Global cache efficiency

  Network traffic generated = Global cache blocks served * DB block size

  Network traffic received = Global cache blocks received * DB block size

 

CPU太过繁忙的话,会导致LMS排队获取传输cache fusion

 

单纯增加一个节点的I/O能力会减弱其他节点的I/O能力

 

等待事件

GC cr/current Block 2-way

  节点A请求blockBmasterB接到请求将BLOCK转给A

GC cr/current Block 3 way

  同上

GC cr/current Grant 2-way

  节点B指导A从磁盘读block并且为此进程上锁,中间的耗时事件

GC cr/current Block Congested

  前台程序频繁请求block,表明现有的LMS进程跟不上请求,可以考虑增大GCS_server_processes的参数;CPU排队过长同样可以导致LMS延迟

Gc cr/current block busy

  block被发送到请求的节点前,有延迟等待

 

 

 

网络

增加UDP buffer sizeOS的最大值,oracle推荐so_sndbuf/so_rcvbuf修改到256kb,如果需要的话可以修改到1M,通过/etc/sysctl.conf修改

Net.core.rmem_default=62144

Net.core.wmem_default=62144

Net.core.rmem_max=62144

Net.core.wmem_max=62144

 

NIC应该配置成full duplex模式,以提供接受/发送端的负载均衡和failover

 

数据传输data transfer的操作系统限制,当大事务存在,packet size的限制可能导致性能问题

 

Interconnect throughput大规模吞吐,可以使用Jumbo Frames,可以帮助降低因bonding device占用的CPU利用率,它支持9000bytesMTU,降低网络传输次数

 

确保public network没有被private network占用

 

使用ifconfig/netstat监控dropped packets,timeouts,buffer overflows,transmit receive errors

 

硬件

确认存储架构/网络/interconnect comp有冗余

当有节点增加到HBA卡时,disk array上的switch的端口数和controllers的数目必须相应增加

LUNS必须在HBA端口负载均衡,primary path必须50%,另一个也要50%

开启hyperthreading/proc/cpuinfotop中的cpu数量必须一致

开启异步I/O可以提升disk I/O性能

对于有OLAP查询、并行查询、备份恢复等需要大量I/O操作的DB,可以修改aio-max-size=1048576/aio-max-ns=56k来提升性能

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/15480802/viewspace-696132/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2010-03-18

  • 博文量
    375
  • 访问量
    3165216