ITPub博客

LVS-DR VIP和RIP不同网段的配置方法

网络安全 作者:fengzhanhai 时间:2015-03-03 17:34:04 0 删除 编辑

在网上流传的很多文章中,LVS-DR模式都要求VIP和RIP在同一网段,很少有在不同网段配置成功的案例。但章文嵩博士已经在官网上明

确回答了是可以在不同网段的(见http://zh.linuxvirtualserver.org/node/155),负载调度器只要有一个网口和真实服务器是通过不分

段的网络连接起来就可以,真实服务器可以通过自己的路由器将响应报文发送给客户。也就是说Director至少要有两个网口才满足VIP和RIP

不在同一网段。
LVS-HOWTO(http://www.austintek.com/LVS/LVS-HOWTO/HOWTO/LVS-HOWTO.LVS-DR.html)也说明了LVS-DR的要求。
从realserver到client路由,可以是另外的,也可能通过director,但要使用director做路由必须对director的内核打forward_shared

补丁,不然director不会转发源IP是自已的包(见http://zh.linuxvirtualserver.org/node/249#comment-352)。
如果使用另外的路由,则只要求能从realserver到client就行了,不需要得到client的响应,因此realserver可以放在防火墙后面。
下面是具体的配置过程:

[@more@]

director有两块网卡:
eth0 192.168.2.254 用于跟realserver连接
eth1 61.180.79.110 外网IP,VIP也绑定到此网卡

director的配置
1、安装ipvsadm
ipvsadm是用来管理lvs设置的命令行工具,可以用来查看当前状态。
yum install ipvsadm

2、安装keepalived
keepalived可以用于双机热备的自动故障转移,也可以管理lvs的realserver列表,自动对realserver做健康检查。

wget -c http://www.keepalived.org/software/keepalived-1.2.2.tar.gz
tar zxvf keepalived-1.2.2.tar.gz
cd keepalived-1.2.2
./configure --prefix=/usr --sysconfdir=/etc

如果最后显示
Use IPVS Framework : No
IPVS sync daemon support : No

请指定内核源码目录再运行configure
./configure --prefix=/usr --sysconfdir=/etc --with-kernel-dir=/usr/src/kernels/linux-2.6.35.9

make && make install
将keepalived加入服务中
chkconfig --add keepalived
chkconfig --level 35 keepalived on

修改配置文件
mv /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.old
vi /etc/keepalived/keepalived.conf

填入以下内容

! Configuration File for keepalived
global_defs {
notification_email {
root@localhost #需要本机SMTP服务
}
notification_email_from root@localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}

vrrp_instance VI_1 {
state MASTER #备份服务器上将MASTER改为BACKUP
interface eth1 #HA监测网络接口(绑定VIP的网口)
virtual_router_id 1 #主、备机的virtual_router_id一定要相同,必须相同!!!
priority 100 #主、备机取不同的优先级,主机值较大,备份机值较小
advert_int 1 #VRRP Multicast广播周期秒数
authentication {
auth_type PASS #VRRP认证方式
auth_pass 1111 #VRRP口令字
}
virtual_ipaddress {
61.180.79.18 #LVS虚拟地址,可写多个VIP,一行一个VIP
}
}

virtual_server 61.180.79.18 80 {
delay_loop 2 #延时等待时间
lb_algo wrr #轮询算法
lb_kind DR #传输模式
persistence_timeout 0 #单一链接重连保持时间秒
protocol TCP

real_server 192.168.2.11 80 {
weight 1 #权重
TCP_CHECK { #realserve的状态检测设置部分,单位是秒
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.2.12 80 {
weight 1 #权重
TCP_CHECK { #realserve的状态检测设置部分,单位是秒
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}

realserver的配置
rs1和rs2的IP分别是192.168.2.11 192.168.2.12
1、安装nginx用于测试
wget -c http://nginx.org/download/nginx-0.8.54.tar.gz
tar zxvf nginx-0.8.54.tar.gz
cd nginx-0.8.54
./configure --prefix=/usr/local/nginx
make && make install
启动nginx
/usr/local/nginx/sbin/nginx

2、绑定VIP到lo
ifconfig lo:0 61.180.79.18 broadcast 61.180.79.18 netmask 255.255.255.255 up

3、将绑定VIP的网卡设置为no_arp
vi /etc/sysctl.conf
增加
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
使之生效
sysctl -p

4、设置realserver能到达client的路由网关
route add default gw 192.168.2.1

我开始测试的时候,使用一个tp-link的无线宽带路由器,一直配置不成功,后来用tcpdump分析才发现,这个路由器就是不转发从

realserver到client的数据包,不知道什么原因,但直接ping client又是通的,后来直接用一台linux做路由就可以了

(net.ipv4.ip_forward = 1,而且这台路由启用NAT也不影响)。


如果要使用director做realserver到client的网关,就需要给director的内核打补丁,我是使用最新的内核编译的,过程如下:
wget -c http://www.kernel.org/pub/linux/kernel/v2.6/linux-2.6.35.9.tar.bz2
tar -xjvf linux-2.6.35.9.tar.bz2
mv linux-2.6.35.9 /usr/src/kernels

为内核打forward_shared补丁
cd /usr/src/kernels
wget -c http://www.ssi.bg/~ja/hidden-forward_shared-2.6.34-2.diff /usr/src/kernels/linux-2.6.35.9
patch -p1 < ../forward_shared-2.6.34-2.diff

cd

为了方便编译配置,将boot目录下的配置文件复制到 /usr/src/kernels/linux-2.6.35.9
cp /boot/config-2.6.18-194.32.1.el5 /usr/src/kernels/linux-2.6.35.9/.config

make menuconfig 选择 Load an Alternate Configuration 回车确认载入


默认情况下启动时会提示如下错误:
mount: could not find filesystem ‘/dev/root’
setuproot: moving /dev failed: No such file or directory
setuproot: error mounting /proc: No such file or directory
setuproot: error mounting /sys: No such file or directory
switchroot: mount failed: No such file or directory
Kernel panic – not syncing: Attempted to kill init!

解决方法:
执行完make menuconfig后,修改/usr/src/kernels/linux-2.6.35.9/.config

将#CONFIG_SYSFS_DEPRECATED_V2 is not set
默认被注释掉的,将其改为y。即修改为
CONFIG_SYSFS_DEPRECATED_V2=y


根据需要再选择编译选项;
make (这个过程相当的漫长,起码半个小时以上)

如果没有错误,执行模块编译安装
make modules_install

编译内核安装
make install

sh /usr/src/kernels/linux-2.6.35.9/arch/x86/boot/install.sh 2.6.35.9 arch/x86/boot/bzImage
System.map "/boot"
看到如上提示表示编译成功,


如果没有看到错误,可以修改启动项 让 centos 启动时加载 新内核, (如有编译错误请勿修改启动配置,否则启动失败)

vi /boot/grub/grub.conf
default=0 (修改为0 即可)

不知为什么这个内核启动的时候会报错
insmod: error inserting '/lib/dm-region-hash.ko' : -1 File exists
解决办法如下:

1、解压initrd文件
[root@vhost ~]# cp /boot/initrd-2.6.35.4.img /tmp
[root@vhost ~]# cd /tmp/
[root@vhost tmp]# ls
initrd-2.6.35.4.img
[root@vhost tmp]# mkdir newinitrd
[root@vhost tmp]# cd newinitrd/
[root@vhost newinitrd]# zcat ../initrd-2.6.35.4.img |cpio -i
11282 blocks
释放之后看到如下内容
[root@vhost newinitrd]# ls
bin dev etc init lib proc sbin sys sysroot
2、下边就是编辑init,删掉其中重复的四行中的两行
echo "Loading dm-region-hash.ko module"
insmod /lib/dm-region-hash.ko
echo "Loading dm-region-hash.ko module"
insmod /lib/dm-region-hash.ko
3、重新打包initrd
[root@vhost newinitrd]# find .|cpio -c -o > ../initrd
11282 blocks
[root@vhost newinitrd]# cd ..
[root@vhost tmp]# gzip -9 < initrd > initrd.img
[root@vhost tmp]# ls
initrd-2.6.35.4.img initrd initrd.img newinitrd
initrd.img就是重新打包的initrd了,然后把initrd.img拷贝到/boot
[root@vhost tmp]# mv /boot/initrd-2.6.35.4.img /boot/initrd-2.6.35.4.img.bak
[root@vhost tmp]# mv initrd.img /boot/initrd-2.6.35.4.img
[root@vhost tmp]# reboot
这样“insmod: error inserting '/lib/dm-region-hash.ko' : -1 File exists” 就不会有了

使用新内核重启后
vi /etc/sysctl.conf
修改或增加
net.ipv4.ip_forward = 1
net.ipv4.conf.default.rp_filter = 0
net.ipv4.conf.eth0.forward_shared = 1
net.ipv4.conf.all.forward_shared = 1

sysctl -p
注意查看forward_shared选项是否成功设置

这样,就可以将realserver的网关改为192.168.2.254了

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/25723371/viewspace-1446935/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2014-01-26

  • 博文量
    25
  • 访问量
    248873