ITPub博客

首页 > Linux操作系统 > Linux操作系统 > Linux学习之使用RHCS套件搭建HA高可用集群

Linux学习之使用RHCS套件搭建HA高可用集群

Linux操作系统 作者:luashin 时间:2016-03-21 22:31:17 0 删除 编辑

操作系统: rhel 6.5
 
真机:192.168.2.42 ankse.example.com
节点1:192.168.2.109 server109.example.com
节点2:192.168.2.205 server205.example.com
过程中注意各个结点解析,时间同步

1、两个结点配置yum
[root@server205 ~]# vim /etc/yum.repos.d/rhel-source.repo 
# repos on instructor for classroom use
# Main rhel6.5 server
[base]
name=Instructor Server Repository
baseurl=http://192.168.2.251/pub/rhel6.5
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
 
# HighAvailability rhel6.5
[HighAvailability]
name=Instructor HighAvailability Repository
baseurl=http://192.168.2.251/pub/rhel6.5/HighAvailability
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
 
# LoadBalancer packages
 [LoadBalancer]
 name=Instructor LoadBalancer Repository
 baseurl=http://192.168.2.251/pub/rhel6.5/LoadBalancer
 gpgcheck=1
 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
 
# ResilientStorage
 [ResilientStorage]
 name=Instructor ResilientStorage Repository
 baseurl=http://192.168.2.251/pub/rhel6.5/ResilientStorage
 gpgcheck=1
 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
 
# ScalableFileSystem
 [ScalableFileSystem]
 name=Instructor ScalableFileSystem Repository
 baseurl=http://192.168.2.251/pub/rhel6.5/ScalableFileSystem
 gpgcheck=1
 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

[root@server205 ~]# yum clearn all

 真机yum添加
 # HighAvailability rhel6.5
 [HighAvailability]
 name=Instructor HighAvailability Repository
 baseurl=http://192.168.2.251/pub/rhel6.5/HighAvailability
 gpgcheck=1
 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
 

2、安装管理软件luci和ricci
 真机安装luci
 [root@ankse ~]# yum  -y install luci
 [root@ankse ~]# /etc/init.d/luci start
 
虚拟机结点分别
 [root@server205 ~]# yum -y install ricci
 [root@server205 ~]# passwd ricci
 Changing password for user ricci.
 New password: 修改密码为root
 passwd: all authentication tokens updated successfully.
 [root@server205 ~]# /etc/init.d/ricci start
 [root@server205 ~]# chkconfig ricci on

3、配置集群
 真机浏览器访问https://ankse.example.com:8084
 首先使用真机root登入,之后在admin授权给一普通用户权限,避免使用root
 使用ankse登录,creat,创建集群名称,加入主机,密码是ricci的密码,选择下载包,加入集群重启,支持分享存储,创建;
 在结点上clustat命令查看集群状态。
 安装fence,当一台设备故障时,直接断掉它的电源,避免瞬间故障导致脑裂;
 [root@ankse ~]# yum -y install fence-virt fence-virtd fence-virtd-libvirt fence-virtd-multicast
 [root@ankse ~]# fence_virtd -c 生成配置文件
 Module search path [/usr/lib64/fence-virt]: 
 Listener module [multicast]: 
 Multicast IP Address [225.0.0.12]: 
 Multicast IP Port [1229]: 
 Interface [none]: br0
 Key File [/etc/cluster/fence_xvm.key]: 
 Backend module [checkpoint]: libvirt
 Libvirt URI [qemu:///system]: 
 Replace /etc/fence_virt.conf with the above [y/N]? y
 [root@ankse ~]# mkdir /etc/cluster
 [root@ankse ~]# cd /etc/cluster/
 [root@ankse cluster]# dd if=/dev/urandom of=/etc/cluster/fence_xvm.key bs=128 count=1
 [root@ankse cluster]# scp fence_xvm.key 192.168.2.109:/etc/cluster/
 [root@ankse cluster]# scp fence_xvm.key 192.168.2.205:/etc/cluster/
 [root@ankse cluster]# /etc/init.d/fence_virtd start
 [root@ankse ~]# chkconfig fence_virtd on
 [root@ankse cluster]# netstat -anulp | grep fence
 udp        0      0 0.0.0.0:1229                0.0.0.0:*                              17405/fence_virtd  
 之后在网页上的集群中添加fence设备,选择设备为fence virt多波模式,name为vmfence,然后在每个结点上添加fence method,name为vmfence-1,再添加fence instance,domain写入从虚拟机管理器中得到的UUID。
 在cluster2:192.168.2.205上测试fence功能
 [root@server205 ~]# fence_xvm -H cluster1,之后cluster1就会重启
 
添加failover domains
 输入name为web,prioritized优先级,restricted服务独占,no failback恢复不再接管。
 添加resource资源,IP地址192.168.2.208,向外部展示的虚拟ip,监控主机,不更新静态路由,时间间隔。
 script脚本,name为apache,Full Path to Script File /etc/init.d/httpd
 两个结点安装httpd,echo `hostname` > index.html。
 
添加服务组,name为www,自动开启服务,恢复选择重新定位,再添加上边的两个资源。测试,访问192.168.2.208,关闭优先级高的httpd,会跳转到另一各结点;关闭运行httpd的结点eth0,该结点会被fence重启,httpd将运行到另一个结点上。内核崩溃测试echo c > /proc/sysrq-trigger.
 如果www为红色获取状态失败,在一个结点上查看状态clustat,如果一直recover,则关闭再激活clusvcamd -d www关闭  clusvcadm -e www激活
 
添加设备资源
 在42真机上创建设备
 [root@ankse ~]# lvcreate -L 2G -n iscsi VolGroup
 [root@ankse ~]# yum -y install scsi-*
 [root@ankse ~]# vim /etc/tgt/targets.conf 
 <target iqn.2014-05.com.example:server.target1>
    backing-store /dev/VolGroup/iscsi
    initiator-address 192.168.2.109
    initiator-address 192.168.2.205
 </target>
 [root@ankse ~]# /etc/init.d/tgtd start
 [root@ankse ~]# chkconfig tgtd on
 [root@ankse ~]# tgt-admin -s 查看
 
结点安装iscsi-initiator-utils
 [root@server109 ~]# iscsiadm -m discovery -t st -p 192.168.2.42
 [root@server109 ~]# iscsiadm -m node -l 登录到设备
 [root@server109 ~]# fdisk -cu /dev/sda 分区
 [root@server109 ~]# mkfs.ext4 /dev/sda1 格式化
 
在网页中recources为集群添加设备,资源通过集群管理
 选择文件系统设备,name为wwwdata,挂载点选择/var/www/html,设备/dev/sda1,选择force unmount,快速状态检测,卸载设备失败重启结点,提交。服务组www里重新添加ip,设备,apache,提交。之后会自动挂在在某一结点上。
 
selinux
 [root@server109 html]# ll -Z
 -rw-r--r--. root root unconfined_u:object_r:file_t:s0  index.html
 drwx------. root root system_u:object_r:file_t:s0      lost+found
 [root@server109 html]# restorecon -Rv .
 [root@server109 html]# ll -Z
 -rw-r--r--. root root unconfined_u:object_r:httpd_sys_content_t:s0 index.html
 drwx------. root root system_u:object_r:httpd_sys_content_t:s0 lost+found
 之后正常访问,一边httpd停止,则服务和磁盘转至另一结点。

4、添加GFS2资源
 [root@server109 ~]# clusvcadm -d www
 网页上先删除服务组的磁盘。再在资源删除wwwdata,在某结点修改sda1为8e,常常使用LVM。
 [root@server109 ~]# fdisk -cu /dev/sda
 Command (m for help): t
 Hex code (type L to list codes): 8e
 Command (m for help): w
 [root@server109 ~]# pvcreate /dev/sda1
 [root@server109 ~]# lvmconf --enable-cluster 使lvm支持集群
 [root@server109 ~]# /etc/init.d/clvmd restart
 [root@server109 ~]# vgcreate -cy clustervg /dev/sda1 
 [root@server109 ~]# lvcreate -L 1G -n gfs2demo clustervg 在另一个结点上使用pvs、vgs、lvs可以查看到
 [root@server109 ~]# mkfs.gfs2 -p lock_dlm -t ankse:mygfs2 -j 3 /dev/clustervg/gfs2demo 格式化为gfs2文件系统,使用分布式锁,指定集群标签,日志记录结点个数,以后还可以添加。
 [root@server109 ~]# mount /dev/clustervg/gfs2demo /var/www/html/
 [root@server109 ~]# cd /var/www/html/ 建立index文件
 [root@server109 html]# restorecon -Rv . 刷新selinux上下文,如果没开就不用做了
 然后在另一个结点上挂载,查看selinux上下文以及index文件同步情况。
 
设置开机自动挂载,所有结点都做同样操作。
 [root@server109 html]# blkid 找出设备的UUID
 [root@server109 ~]# vim /etc/fstab 
 UUID="71d573d1-fead-36b2-ab50-1e62286525b7"    /var/www/html  gfs2    _netdev,defaults        0 0
 [root@server109 ~]# umount /var/www/html/ 结点上卸载
 [root@server109 ~]# mount -a 然后df查看
 [root@server109 ~]# clusvcadm -e www 打开集群服务,访问网站测试
 [root@server109 ~]# clusvcadm -r www -m server205.example.com
 重定位服务结点,访问测试。
 
使用集群管理网页添加gfs2文件系统
 [root@server109 ~]# clusvcadm -d www 停止服务
 [root@server109 ~]# vim /etc/fstab 去掉自动挂载
 [root@server109 ~]# umount /var/www/html/ 卸载文件系统
 网页管理上添加资源,选择GFS2,使用设备名、标签、UUID均可作为挂载标识,强制卸载,卸不了重启,提交。
 服务组里边添加GFS2设备,apache服务。开启www,访问测试。测试结果只有添加设备名/dev/mapper/clustervg-gfs2demo可以,UUID,标签都不能成功。
 [root@server109 ~]# clusvcadm -d www
 Local machine disabling service:www...Success
 [root@server109 ~]# clusvcadm -e www
 Local machine trying to enable service:www...Success
 
添加日志记录结点数
 [root@server109 ~]# gfs2_tool journals /dev/clustervg/gfs2demo 查看结点日志数
 [root@server109 ~]# lvextend -l +255 /dev/clustervg/gfs2demo 
 [root@server109 ~]# gfs2_grow /dev/clustervg/gfs2demo 扩大文件系统容量,每个日志占用128M
 [root@server109 ~]# gfs2_jadd -j 2 /dev/clustervg/gfs2demo 添加两个结点日志
 [root@server109 ~]# gfs2_tool journals /dev/clustervg/gfs2demo 再次查看
 
挂载分布式锁文件系统
 当集群出现问题,由于锁机制的存在,不允许挂载,所以使用
 [root@server109 ~]# gfs2_tool sb /dev/clustervg/gfs2demo all 查看设备所属集群信息
 lftp i:/pub> get gfs2.img 下载hacluster集群的文件系统测试,可由dd命令得到
 [root@server109 ~]# gfs2_tool sb gfs2.img all
  sb_lockproto = lock_dlm
  sb_locktable = hacluster:mygfs
 [root@server109 ~]# mount -t gfs2 -o lockproto=lock_nolock,loop gfs2.img /mnt/ 挂载文件,使用loop参数
 [root@server109 ~]# ls /mnt/good\ luck
 就可以查看该文件系统的文件了。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/9034054/viewspace-2061417/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2015-02-18

  • 博文量
    290
  • 访问量
    1048549