Oracle RAC for HP PC服务器+MSA2000存储+Linux 5.4_x86_64(转载+实战)
转载自：http://server.csdn.net/n/20090826/4267.html
环境：
操作系统：redhat as4u4，内核版本2.6.9-42.elsmp
hp_msa2000做双击节点服务器，内存分别是16g，136g硬盘
节点主机名分别是rac1，rac2；分别有俩个网卡分别是eth0和eth1
rac1的ip和主机名分配，其中10.10.10.网段的为eth0，192.168.1为eth1
10.10.10.132 rac1
10.10.10.136 rac1-vip
192.168.1.132 rac1-pri
rac2的ip和主机名分配，其中10.10.10网段的为eth0，192.168.1为eth1
10.10.10.133 rac2
10.10.10.137 rac2-vip
192.168.1.133 rac2-pri
光纤通道卡HBA:FCA1242SR DRIVER ，驱动版本下载地址：
http://h20000.www2.hp.com/bizsupport/TechSupport/SoftwareDescription.jsp?lang=en&cc=us&prodTypeId=12169&prodSeriesId=1809835&prodNameId=1809836&swEnvOID=2026&swLang=13&mode=2&taskId=135&swItem=co-61243-3
hp磁盘阵列2.25T容量，3个750G的sata硬盘，做raid5，创建1个vidisk，24个volume
oracle集群软件：
oracle10g
oracle10cluster
oracle 全局名db 各个节点的SID分别是db1和db2，全局服务名为myrac
集群采用ocfs作为共享文件系统，采用asm管理磁盘
其中oracle的spfile(存放在/u03)、集群用到的表决文件（vote，存放在/u01）
和集群前准备文件(ocr存放在/u02)存放在ocfs文件系统上,分别占用一个ocfs分区
ocfs使用到的软件（对应redhat as4u4版本）：
oracleasmlib-2.0.2-1.x86_64.rpm
ocfs2-tools-1.2.4-1.x86_64.rpm
ocfs2console-1.2.4-1.x86_64.rpm
ocfs2-2.6.9-42.ELlargesmp-1.2.4-2.x86_64.rpm
asm使用到的软件（对应redhat as4u4版本）：
oracleasm-support-2.0.3-1.x86_64.rpm
oracleasm-2.6.9-42.ELlargesmp-2.0.3-1.x86_64
----------------------------------------------
++++++++++++++++++++++++++++++++++++++++++++++++++
一、前言
先了解oracle rac的能使用的文件系统，很重要。
待补充
二、安装俩节点操作系统
1.安装方式的选项：
⊙ 定制要安装的软件包（C）
桌面选项：
（√） X窗口系统 （选取全部）
（√） GNOME桌面环境 （选取全部）
应用程序选项：
（ ） 工程和科学 （选取默认）
（√） 图形化互联网 （选取默认）
（） 基于文本的互联网 （视个人情况选择）
（ ） 办公/生产率 （视个人情况选择）
服务器选项：
（√） 服务器配置工具 （选取全部）
（ ） 万维网服务器 （视个人情况选择）
（ ） Windows文件服务器 （视个人情况选择）
（ ） DNS服务器 （视个人情况选择）
（ ） 遗留服务 （视个人情况选择）
开发选项：
（√） 开发工具 （选择全部）
（√） x开发工具 （选择全部）
（√） 原有开发工具 （全部选取）
系统选项：
（√） 管理工具 （选取默认）
（ ） 打印支持 （视个人情况选择）
2.安装完成后，请：
1).查看操作系统版本
# uname -r 2.6.9-42.ellargesmp
2).检查oracle10g和cluster需要的软件包
# rpm -q --qf '%{NAME}-%{VERSION}-%{RELEASE} (%{ARCH})\n' \
binutils compat-db control-center gcc gcc-c++ glibc glibc-common gnome-libs \
libstdc++ libstdc++-devel make pdksh sysstat xscreensaver libaio libaio-devel glibc-devel
binutils-2.15.92.0.2-21 (x86_64)
compat-db-4.1.25-9 (i386)
compat-db-4.1.25-9 (x86_64)
control-center-2.8.0-12.rhel4.5 (x86_64)
gcc-3.4.6-3 (x86_64)
gcc-c++-3.4.6-3 (x86_64)
glibc-2.3.4-2.25 (i686)
glibc-2.3.4-2.25 (x86_64)
glibc-devel(i686)
glibc-devel(x86_64)
glibc-common-2.3.4-2.25 (x86_64)
gnome-libs-1.4.1.2.90-44.1 (x86_64)
libstdc++-3.4.6-3 (i386)
libstdc++-3.4.6-3 (x86_64)
libstdc++-devel-3.4.6-3 (i386)
libstdc++-devel-3.4.6-3 (x86_64)
make-3.80-6.EL4 (x86_64)
pdksh-5.2.14-30.3 (x86_64)
sysstat-5.0.5-11.rhel4 (x86_64)
xscreensaver-4.18-5.rhel4.11 (x86_64)
libaio-0.3.105-2 (i386)
libaio-0.3.105-2 (x86_64)
libaio-devel-0.3.105-2 (x86_64)
以上所有包务必全部安装。否则，oracle集群安装过程会出错。
# rpm -ivh 所缺的软件包名
3.禁用selinux
图形界面下以root身份执行
# /usr/bin/system-config-securitylevel
禁用selinux
三、msa2000磁盘阵列配置
1、连接pc的俩种方式
a.串口线
使用windows系统的超级终端程序连接。
Com口属性设置重置为默认即可。
b.交叉网线
连接到俩个控制口（A口，B口）的其中一个
使用telnet IP 方式登入。默认ip是10.0.0.2 (controller A), 10.0.0.3 (controller B)
2、配置msa2000的俩种方式
1.命令行模式
telnet 10.0.0.2 进入，用户密码 manage/!manage
或者
10.0.0.3进入，用户密码 manage/!manage
2.web管理模式
http://10.0.0.2进入，用户密码 manage/!manage
或者
http://10.0.0.3进入，用户密码 manage/!manage
3、配置磁盘阵列步骤
1)、创建vdisk
步骤
a. 打开web管理界面，选择 Manage > Virtual Disk Config > Create A Vdisk.
b. 选择 Manual Virtual Disk Creation (Detail-based).
c. 输入virtual disk名称，该名称大小写敏感，17字符以内包括数字，字母，空格，下划线、连接符。
d. 选择 RAID 5 Parity RAID, 打开Parity属性
e. 点击Create New Virtual Disk.
f. 选择现有磁盘，根据磁盘数量来做raid，这里有三块硬盘，适合做raid5
g. 如果需要做成dedicated spare drive, 请选择Yes .
h. 选择多余的一块磁盘做spare冗余，点击Continue.（如果没有多余磁盘则不选）
i. For the number of volumes, 选择 1.
Notice that by default the volume will not be exposed to (accessible by) hosts.
j. 点击 Create Virtual Disk，开始出现初始化vdisk,这里选择offline模式能加快初始化速度
k. 如果想继续创建vdisk，则点击create another virtual disk.
l. 创建不同的vdisk请重复步骤 b 到 i即可，
命令行模式：
Create the RAID-1 virtual disk VD1 using two disk drives in the controller enclosure.
# create vdisk level raid1 disks 1,3 VD1
Success: Vdisk created.
delete vdisk vdisks
# delete vdisk VD1
Please wait - Vdisk is being deleted.
Info: Deleted vdisk VD1
Success: Command completed successfully
# show vdisks //查看vdisks
# delete vdisk VD1 // 删除
Please wait - Vdisk is being deleted.
Info: Deleted vdisk VD1
Success: Command completed successfully
2)、创建volume
步骤
a. 打开web管理界面，选择 Manage > volume Config > Create A volume.
b. 输入volume名称、大小(单位为M)和lun号,lun号一定不要选择0，否则无法创建多个volume，点击creat，出现初始化界面。
c. 重复创建多个volume，请重复步骤a到b，选择不同的volume名称和lun号，根据需要输入该volume的大小，单位为M。
命令行模式：
Create the 10-Gbyte volume V1 on virtual disk VD1, and map it to ports 0 and 1 using LUN 12.
# create volume vdisk VD1 size 10GB mapping 0-1.12 V1
Success: volume created and mapped successfully
# show volume
# delete volume V1 // 删除
Success: deleted volume V1
3)、配置主机和光纤卡对应关系：host-wwn-name
步骤
a. Select Manage > General Config > host-wwn-name.
b. 选择对应主机和对应的光纤卡端口，输入一个host-wwn-name
这里有四个光纤卡控制口和俩胎主机需要做8次
c. 重复步骤a和b建立好全部对应关系
命令行模式：
Create the nickname MyHost for the HBA having WWPN 210000e08b095562
# create host-wwn-name wwpn 210000e08b095562 MyHost
Info: Adding hostWnn: 210000e08b095562 and nickName: MyHost
Success: Command completed successfully
# Show host-wwn-name //查看
# delete host-wwn-name MyHost // 删除
Success: Deleted MyHost
4)、创建volume mapping
创建好volume后默认map都已经建好，所有主机和光纤卡都有访问权限，无需操作
命令行模式(跟创建volume相同)：
Create the 10-Gbyte volume V1 on virtual disk VD1, and map it to ports 0 and 1 using LUN 12.
# create volume vdisk VD1 size 10GB mapping 0-1.12 V1
Success: volume created and mapped successfully
# show volume
# delete volume V1 // 删除
Success: deleted volume V1
以下是本人命令行说明:
a.创建vdisk
create vdisk level raid5 disks 1,2,3 myvdisk
b.创建volume并做maping,以及每个volume的作用和文件系统类型，大小和lun号，对应文件系统分区
TYPE VOLUME GB SIZE(MB) LUN COMMNANDS OF CREATING VOLUME DISK partition
ASM DB_SDATA 40.5 41472 1 create volume vdisk data size 41472MB DB_SDATA mapping 0-1.1 /dev/sda /dev/sda1
RAW DB_CRS 0.5 512 2 create volume vdisk data size 512MB DB_CRS mapping 0-1.2 /dev/sdb /dev/sdb1
RAW DB_VOT 0.5 512 3 create volume vdisk data size 512MB DB_VOT mapping 0-1.3 /dev/sdc /dev/sdc1
OCFS2 DB_SPF 0.5 512 4 create volume vdisk data size 512MB DB_SPF mapping 0-1.4 /dev/sdd /dev/sdd1
ASM DB_DATA01 96 98304 5 create volume vdisk data size 98304MB DB_DATA01 mapping 0-1.5 /dev/sde /dev/sde1
ASM DB_DATA02 96 98304 6 create volume vdisk data size 98304MB DB_DATA02 mapping 0-1.6 /dev/sdf /dev/sdf1
ASM DB_DATA03 96 98304 7 create volume vdisk data size 98304MB DB_DATA03 mapping 0-1.7 /dev/sdg /dev/sdg1
ASM DB_DATA04 96 98304 8 create volume vdisk data size 98304MB DB_DATA04 mapping 0-1.8 /dev/sdh /dev/sdh1
ASM DB_DATA05 96 98304 9 create volume vdisk data size 98304MB DB_DATA05 mapping 0-1.9 /dev/sdi /dev/sdi1
ASM DB_DATA06 96 98304 10 create volume vdisk data size 98304MB DB_DATA06 mapping 0-1.10 /dev/sdj /dev/sdj1
ASM DB_DATA07 96 98304 11 create volume vdisk data size 98304MB DB_DATA07 mapping 0-1.11 /dev/sdk /dev/sdk1
ASM DB_DATA08 96 98304 12 create volume vdisk data size 98304MB DB_DATA08 mapping 0-1.12 /dev/sdl /dev/sdl1
ASM DB_DATA09 96 98304 13 create volume vdisk data size 98304MB DB_DATA09 mapping 0-1.13 /dev/sdm /dev/sdm1
ASM DB_DATA10 96 98304 14 create volume vdisk data size 98304MB DB_DATA10 mapping 0-1.14 /dev/sdn /dev/sdn1
ASM DB_DATA11 96 98304 15 create volume vdisk data size 98304MB DB_DATA11 mapping 0-1.15 /dev/sdo /dev/sdo1
ASM DB_DATA12 96 98304 16 create volume vdisk data size 98304MB DB_DATA12 mapping 0-1.16 /dev/sdp /dev/sdp1
ASM DB_DATA13 96 98304 17 create volume vdisk data size 98304MB DB_DATA13 mapping 0-1.17 /dev/sdq /dev/sdq1
ASM DB_DATA14 31 31744 18 create volume vdisk data size 31744MB DB_DATA14 mapping 0-1.18 /dev/sdr /dev/sdr1
ASM DB_REDO01 24 24576 19 create volume vdisk data size 24576MB DB_REDO01 mapping 0-1.19 /dev/sds /dev/sds1
ASM DB_REDO02 24 24576 20 create volume vdisk data size 24576MB DB_REDO02 mapping 0-1.20 /dev/sdt /dev/sdt1
ASM DB_REDO03 24 24576 21 create volume vdisk data size 24576MB DB_REDO03 mapping 0-1.21 /dev/sdu /dev/sdu1
ASM DB_REDO04 24 24576 22 create volume vdisk data size 24576MB DB_REDO04 mapping 0-1.22 /dev/sdv /dev/sdv1
ASM DB_REDO05 24 24576 23 create volume vdisk data size 24576MB DB_REDO05 mapping 0-1.23 /dev/sdw /dev/sdw1
ASM DB_REDO06 24 24576 24 create volume vdisk data size 24576MB DB_REDO06 mapping 0-1.24 /dev/sdx /dev/sdx1
c.安装hp光纤卡驱动,以便操作系统识别所建的逻辑卷volume。
# tar -zxvf hp_qla2x00-2008-05-09.tar.gz
# cd hp_qla2x00-2008-05-09
# rpm -ivh hp_qla2x00src-8.02.11-1.linux.noarch.rpm
重启所有节点的服务器，如果能看到创建的volume既说明启动可用。
# reboot
d.重启操作系统后，在其中一节点上给volume分区，分区完毕后重启所有节点操作系统。
# fdisk /dev/sda
按n，然后按p，再按1,创建一主分区，按w保存分区信息，其他分区操作方法类似
# reboot
重启后，fdisk -l查看分区好后的磁盘信息。
四、安装oracle前期准备，分别在俩个节点服务器上操作。
1：创建oracle用户和用户组、从属组
------------------------------------------------------------------------------------
/usr/sbin/groupadd oinstall
/usr/sbin/groupadd dba
/usr/sbin/useradd -m -g oinstall -G dba oracle
---------------------------------------------
id oracle //查看相关信息，看起来类似如下：
---------------------------------------------
/usr/sbin/groupadd -g 501 oinstall
/usr/sbin/groupadd -g 502 dba
/usr/sbin/useradd -m -u 501 -g oinstall -G dba oracle
passwd oracle
------------------------------------------------
mkdir -p /home/app/oracle
chown -R oracle:oinstall /home/app/oracle
chmod -R 775 /home/app/oracle
2：设置oracle运行参数
----------------------------------------------------------------------------------------
1）.设置sysctl.conf文件
------------------------------------
#vi /etc/sysctl.conf //添加一下几行,以下是16g物理内存，200 processes的设置
kernel.shmall = 16179869184
kernel.shmmax = 10737418240
kernel.shmmni = 4096
kernel.sem = 250 32000 300 250
fs.file-max = 65536
net.ipv4.ip_local_port_range = 1024 65000
net.core.rmem_default = 262144
net.core.wmem_default = 262144
net.core.rmem_max = 262144
net.core.wmem_max = 262144
#su - root
#sysctl -p //使设置的值生效
-------------------------------------------------
2）.设置limits.conf
# cat >> /etc/security/limits.conf > /etc/pam.d/login > /etc/profile > /etc/csh.login > /etc/rc.d/rc.local > authorized_keys
$ cat id_rsa.pub >> authorized_keys
在节点rac1上执行
$ scp authorized_keys
oracle@10.10.10.132
:~
在节点rac2上执行
$ cd
$ cat authorized_keys >> .ssh/authorized_keys
$ scp .ssh/authorized_keys
[email=oracle@10.10.10.132:~/.ssh/]oracle@10.10.10.132:~/.ssh/[/email]
按y覆盖现有的authorized_keys文件。
在节点rac1上执行
$ ssh rac1
$ ssh localhost
$ ssh rac2
$ ssh rac2-pri
$ ssh rac2-vip
每个命令回车后输入y，再回车
在节点rac2上执行
$ ssh rac2
$ ssh localhost
$ ssh rac1
$ ssh rac1-pri
$ ssh rac1-vip
每个命令回车后输入y，再回车
执行以上操作后，直接ssh连接任何节点都无需输入密码则ssh的对等关系建立完毕。
11.找其中一台做时钟同步服务器
1）ntp时间服务器端配置
# vi /etc/ntp.conf 内容如下
restrict default nomodify notrap noquery
restrict 127.0.0.1
fudge 127.127.1.0 stratum 10
driftfile /var/lib/ntp/drift
broadcastdelay 0.008
keys /etc/ntp/keys
server rac1
restrict rac1 mask 255.255.255.255 nomodify notrap noquery
# 注释，如果使用双机节点外的其他内部服务器做始终服务器，
# 则需要把该服务器的服务器名写入所有节点的/etc/hosts文件里头
# 格式： ip 主机名
2) ntp时间服务器
# vi /etc/ntp.conf 内容如下
restrict default nomodify notrap noquery
restrict 127.0.0.1
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
restrict 10.10.10.0 mask 255.255.255.0 nomodify notrap
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
driftfile /var/lib/ntp/drift
broadcastdelay 0.008
keys /etc/ntp/keys
3）双节点重启时间服务
# service ntpd restart
4) 双节点的时间精确到同一秒则时间服务器配置成功，时间同步是oracle集群成功运行的重要一步。
实战经验：
在对MAS2000共享存储进行分区时，不能使用传统的fdisk工具。需要使用kpartx工具进行分区。
1.使用kpartx -a /dev/mapper/mpath0 或者 kpartx -a /dev/dm-0
格式化结果为/dev目录下出现dm-1,dm-2两个分区。
2.使用fdisk -l /dev/dm-0可以查看到成功分区的具体情况。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/23135684/viewspace-626309/ ，如需转载，请注明出处，否则将追究法律责任。
