ITPub博客
首页 博客 专栏 学院 社区 IT新媒体评选
发博

首页 > Linux操作系统 > Linux操作系统 > Oracle Database 10g Release 2 (10.2.0) RAC for AIX 注意事项

Oracle Database 10g Release 2 (10.2.0) RAC for AIX 注意事项

原创 Linux操作系统 作者：wlot378 时间：2012-03-31 10:14:58 0 删除 编辑

============================================================
Oracle® Database 10g Release 2 (10.2.0) RAC for AIX 注意事项
by : 王磊/菜小小~@2011-5-4 17:16
看到263/263 2011-5-4 18:20
============================================================
先吐槽下，Itpub的排版真心让人不能淡定。。Orz.....

系统相关注意事项

  • 每个节点必须使用相同的处理器技术，比如都为Power5；
  • 每个节点&每个LPAR上的操作系统必须使用相同的方式安装：相同的maintenance level，相同的APAR，相同的 FILESETS level；prtconf; lparstat -i
  • 检查所安装的操作系统是否被Oracle支持（通过认证），例如，当前OracleRAC10.2.0.1在AIX5.2、5.3、6.1通过认证；

    • 注意PUBLIC NODE NAME必须与aix系统下hostname命令的返回值一致；
    • 注意公网网卡务必要设置网关信息（smit chinet）
    • 节点间私有网络通过网线直连（Cross-over cable）仅用于测试环境，生产环境不要这么做，而要使用千兆交换机（Gigabit switch ）；
    • RAC各个节点的对应的网卡名要保持一致；例如节点1上的en0 对应节点2上的en0；
    • AIX环境下可以使用以太通道技术（EtherChannel）对私有网络提供带宽聚合与故障转移功能；


    存储映射相关注意事项

    首先提问：

    • 1、对于不同的硬件存储设备，maping到AIX后在系统上表现出来的设备名各不相同，应该用什么设备呢？
    • 2、存储上划分的同一块lun，maping到不同节点后由于各种原因，表现出来的设备编号不同时，应该怎么判定节点1的hdisk2与节点2的hdisk2是不是一块磁盘呢？
    • 3、当存储映射到主机上的lun灰常多，怎么避免使用hdisk1~hdiskn这样的名字把自己弄晕么？


    由于各客户环境使用的存储设备不一样，需要配置使用的磁盘路径也不同，并不是都是使用rhdisk哦， 采用不同的硬件存储设备在AIX平台下多路径工具与ASM磁盘所应该使用的路径：

      • EMC PowerPath  Use raw partitions thru the pseudo device /dev/rhdiskpowerx
      • IBM SDD (Vpath)  /dev/vpathx
      • IBM SDDPCM   Use /dev/rhdiskx device 
      • IBM RDAC (Redundant Disk Array Controller)  Use /dev/rhdiskx device RDAC is installed by default and must be used with IBM storage DS4000, and former FasTt series. 

    在使用SAN共享存储时，各RAC节点并发读写的共享磁盘(hdisk, hdiskpower, dlmfdrv, etc …) 的reserve_policy属性的值必须设置为“no_reserve”或者“no_lock”
    通过lsattr –E –l hdisk2 | grep reserve 检查该属性，例如：

$ lsattr -E -l hdisk2 | grep reserve 

reserve_policy 

single_path                      Reserve Policy                         True 


On IBM storage (ESS, FasTt, DSXXXX) : Change the “reserve_policy” attribute to “no_reserve” 

chdev -l hdisk? -a reserve_policy=no_reserve 


On EMC storage : Change the “reserve_lock” attribute to “no” 

chdev -l hdisk? -a reserve_lock=no 

$ lsattr -E -l hdisk2 | grep reserve 

reserve_policy 

no_reserve                      Reserve Policy                         True 


 IBM MPIO (Multi-Path I/O). 【此为摘录】

MPIO driver is supported with IBM Total Storage ESS, DS6000 and DS8000 series only And with IBM SVC (SAN Volume Controler). 

IBM RDAC (Redundant Disk Array Controller) for IBM Total Storage DS4000. 

RDAC driver is supported with IBM Total Storage DS4000 series only, and former FasTt.


AIX Packages needed to install on all nodes for IBM MPIO(AIX 5.3)【此为摘录】

devices.sddpcm.53.2.1.0.7.bff

devices.sddpcm.53.rte

devices.fcp.disk.ibm.mpio.rte

devices.fcp.disk.ibm.mpio.rte download page : 

http://www-01.ibm.com/support/docview.wss?rs=540&context=ST52G7&dc=D410&q1=host+scripts&uid=ssg1S4000203&loc=en_US&cs=utf-8&lang=en

MPIO for AIX 5.3 download page : 

http://www-01.ibm.com/support/docview.wss?uid=ssg1S4000201


AIX下查询WWPN的命令

# pcmpath query wwpn 

Adapter Name    PortWWN 

fscsi0          10000000C935A7E7 

fscsi1          10000000C93A1BF3 

# pcmpath query device 

DEV#:   2  DEVICE NAME: hdisk2  TYPE: 2107900  ALGORITHM:  Load Balance 

SERIAL: 75271812000 

========================================================================== 

Path#      Adapter/Path Name          State     Mode     Select     Errors 

    0           fscsi0/path0          CLOSE   NORMAL          0          0 

    1           fscsi1/path1          CLOSE   NORMAL          0          0 

 

DEV#:   3  DEVICE NAME: hdisk3  TYPE: 2107900  ALGORITHM:  Load Balance 

SERIAL: 75271812001 

========================================================================== 

Path#      Adapter/Path Name          State     Mode     Select     Errors 

    0           fscsi0/path0          CLOSE   NORMAL          0          0 

    1           fscsi1/path1          CLOSE   NORMAL          0          0 

 

。。。。。。


弄清楚ocr和Voting对应共享磁盘hdisk与存储所划LUN的对应关系


方法一：lscfg -l hdisk? 弄清楚后DO MAKE sure to release PVID after hdisks identifications,例如

node1:root-/> lscfg  

–vl  hdisk2 

 hdisk2           U1.9-P1-I1/Q1-W200300A0B80C5404-L

1000000000000  3552     (500) Disk Array Device 

node1:root-/> lscfg  

–vl  hdisk3 

 hdisk3           U1.9-P1-I1/Q1-W200300A0B80C5404-L

2000000000000  3552     (500) Disk Array Device 


方法二：临时给pv分配PVID  弄清楚后再clear掉PVID  

node1:root-/> chdev -l hdisk2  -a  pv=yes 

node1:root-/> chdev -l hdisk3 -a  pv=yes 

node1:root-/> lspv 

hdisk2          0033c670b0f3ee84                    None            

hdisk3          0033c670b0f3fb87                    None             

node1:root-/> chdev -l hdisk2  -a  pv=clear 

node1:root-/> chdev -l hdisk3  -a  pv=clear 

node1:root-/> lspv 

hdisk0     0033c670e214eac5         rootvg          active 

hdisk2          none                                None             

hdisk3          none                                None             


弄清楚ASM候选盘对应共享磁盘hdisk与存储划LUN的对应关系【方法同上面确定ocr和voting磁盘一样】
方法一：lscfg -l hdisk? 弄清楚后DO MAKE sure to release PVID after hdisks identifications；
方法二：临时给pv分配PVID  弄清楚后再clear掉PVID  


由于ocr与voting对应一块共享磁盘在不同节点显示的PV名字不同，可在各节点新创建一致的设备名指回去



首先：在每个节点获得每个改下磁盘磁盘对应的minor and major number； 

node1:root-/> ls -l /dev/*hdisk2 

brw-------   1 root     system       20,  4 Oct 18 17:52 /dev/hdisk2 

crw-------   1 root     system       20,  4 Oct 18 17:52 /dev/rhdisk2 

node1:root-/> ls -l /dev/*hdisk3 

brw-------   1 root     system       20,  5 Oct 18 17:52 /dev/hdisk3 

crw-------   1 root     system       20,  5 Oct 18 17:52 /dev/rhdisk3 

node1:root-/> rsh node2 

node2:root-/> ls -l /dev/*hdisk3 

brw-------   1 root     system       12,  9 Oct 18 16:22 /dev/hdisk3 

crw-------   1 root     system       12,  9 Oct 18 16:22 /dev/rhdisk3 

node2:root-/> ls -l /dev/*hdisk4 

brw-------   1 root     system       12,  8 Oct 18 16:22 /dev/hdisk4 

crw-------   1 root     system       12,  8 Oct 18 16:22 /dev/rhdisk4


然后在每个节点创建对应相对minor and major number的新设备

node1:root-/> mknod /dev/ocr_disk c 20 4 

node1:root-/> mknod /dev/vote_disk c 20 5 

 

node1:root-/> rsh node2 

node2:root-/> mknod /dev/ocr_disk c 12,9 

node2:root-/> mknod /dev/vote_disk c 12,10 


然后修改这些新设备的属组、属主、权限

node1:root-/> chown oracle.dba /dev/ocr_disk 

node1:root-/> chown oracle.dba /dev/vote_disk 

node1:root-/> chmod 660 /dev/ocr_disk 

node1:root-/> chmod 660 /dev/vote_disk 


最后校验新设备是否可写（两节点同时运行 测试并发读写）

dd if=/dev/zero of=/dev/ocr_disk bs=8192 count=25000 & 

25000+0 records in. 

25000+0 records out. 

dd if=/dev/zero of=/dev/vote_disk bs=8192 count=25000 & 

25000+0 records in. 

25000+0 records out. 


由于ASM对应的共享磁盘在不同节点显示的PV名字不同，可在各节点新创建一致的设备名指回去【方法同上面新建ocr和voting设备一样】


AIX平台如何确定磁盘是否被标记为ASM磁盘，被ASM使用
1、确定磁盘属组、属主、权限 （All hdisks prepared for ASM are owned by oracle user, and group dba ）
2、使用lquerypv 查询磁盘信息，被ASM使用的磁盘会有以下信息

{node1:root}/ ->lquerypv -h /dev/rhdisk7|grep ORCLDISK 

00000020   4F52434C 4449534B 00000000 00000000  |

ORCLDISK........| 

{node1:root}/ ->lquerypv -h /dev/rhdisk7 

00000000   00820101 00000000 80000001 D12A3D5B  |.............*=[| 

00000010   00000000 00000000 00000000 00000000  |................| 

00000020   4F52434C 4449534B 00000000 00000000  |

ORCLDISK........| 

00000030   00000000 00000000 00000000 00000000  |................| 

00000040   0A100000 00010203 41534D44 425F4752  |........

ASMDB_GR| 

00000050   4F55505F 30303031 00000000 00000000  |

OUP_0001........| 

00000060   00000000 00000000 41534D44 425F4752  |........

ASMDB_GR| 

00000070   4F555000 00000000 00000000 00000000  |OUP.............| 

00000080   00000000 00000000 41534D44 425F4752  |........

ASMDB_GR| 

00000090   4F55505F 30303031 00000000 00000000  |OUP_0001........| 

000000A0   00000000 00000000 00000000 00000000  |................| 

000000B0   00000000 00000000 00000000 00000000  |................| 

000000C0   00000000 00000000 01F5874B ED6CE000  |...........K.l..| 

000000D0   01F588CA 150BA800 02001000 00100000  |................| 

000000E0   0001BC80 00001400 00000002 00000001  |................| 

000000F0   00000002 00000002 00000000 00000000  |................| 


如果需要清除ASM磁盘中的数据信息，可以使用dd清除：

{node1:root}/ ->dd if=/dev/zero of=/dev/rhdisk7 bs=8192 count=25000 & 


安装时注意事项

  • AIX平台给数据库打patch前 建议以root用户运行 "/usr/sbin/slibclean"来清理内存中的库文件；
  • 安装软件之前要确保AIX平台/usr/bin下有unzip工具
  • 安装OracleCRS之前需要为各节点的Oracle用户配置等效性（SSH & RSH）

  • 安装crs之前进行使用CVU进行校验
    • ./runcluvfy.sh stage -pre crsinst -n node1,node2 –verbose 
  • 安装crs之前对lsattr建立软连接，“/etc/lsattr” is used in vip check action 
    • ln –s  /usr/sbin/lsattr  /etc/lsattr 
  • 如果在AIX 5L 5.3安装，需要修改Disk1/installer目录下的oraparam.ini, cluster.ini 两个文件，将AIX5200修改为AIX5300；或者直接执行
    • $/…/crs/Disk1/runInstaller  -ignoreSysPrereqs 避免操作系统版本检查报错


检查crs安装

crsstat -t

crsctl check  cssd 

crsctl check  crsd 

crsctl check  evmd

crsctl check crs

crsctl query crs softwareversion 

crsctl query crs softwareversion node2 

$ORA_CRS_HOME/bin/olsnodes

oifcfg getif


清理公网网卡的VIP别名信息示例

On node1 as root : Ifconfig en0 delete 10.3.25.181 

On node2 as root : Ifconfig en0 delete 10.3.25.182 

表格1.jpg

2.jpg

3.jpg

4.jpg

6.jpg

来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/21162451/viewspace-720014/ ，如需转载，请注明出处，否则将追究法律责任。

0
0
上一篇： RED HAT ENTERPRISE Linux 6.1 GCC安装顺序（64位）
下一篇： Oracle Database基础学习笔记 之 锁
请登录后发表评论 登录
全部评论
wlot378

注册时间：2010-06-07

  • 博文量
    30
  • 访问量
    220606

最新文章

支持我们 作者招募 用户协议 FAQ Contact Us

北京盛拓优讯信息技术有限公司. 版权所有  京ICP备16024965号-8 北京市公安局海淀分局网监中心备案编号：11010802021510 niuxiaotong@pcpop.com 17352615567 未成年人举报专区

广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员

违法和不良信息举报电话:18101376593