ITPub博客

首页 > Linux操作系统 > Linux操作系统 > Linux负载均衡双机实现文档

Linux负载均衡双机实现文档

原创 Linux操作系统 作者:兰在晨 时间:2014-02-15 20:49:16 0 删除 编辑


安装环境

环境配置

虚拟服务器2台:

Red Hat Enterprise Linux Server release 5.4  1C 内存:512M

应用服务器:

Red Hat Enterprise Linux Server release 5.4  1C 内存:1G

Red Hat Enterprise Linux Server release 5.4  1C 内存:1G

 

VIP192.168.90.100

GATEWAY:192.168.90.200

Vserver1:192.168.90.220

Vserver2:192.168.90.221

 

RealServer1:192.168.90.223

RealServer2:192.168.90.224

 

 

系统架构

概念了解

         这在整个负载均衡+Ha的高可用架构中主要采用ipvsadmKeepAlived来实现。

1、  LVS

Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统。本项目在19985月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一。目前有三种IP负载均衡技术(VS/NATVS/TUNVS/DR)八种调度算法(rr,wrr,lc,wlc,lblc,lblcr,dh,sh)。

2、  ipvsadm

IPVS基本上是一种高效的Layer-4交换机,它提供负载平衡的功能。当一个TCP连接的初始SYN报文到达时,IPVS就选择一台服务器,将报文转发给它。此后通过查发报文的IPTCP报文头地址,保证此连接的后继报文被转发到相同的服务器。这样,IPVS无法检查到请求的内容再选择服务器,这就要求后端的服务器组是提供相同的服务,不管请求被送到哪一台服务器,返回结果都应该是一样的。

3、  KeepAlived

keepalived是一个类似于layer3, 4 & 5交换机制的软件,也就是我们平时说的第3层、第4层和第5层交换。Keepalived的作用是检测web服务器的状态,如果有一台web服务器死机,或工作出现故障,Keepalived将检测到,并将有故障的web服务器从系统中剔除,当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的web服务器。

实现架构

在上图的结构中:

主要由ipvsadm负责分发数据实现负载均衡的作用,由keepalived检测各应用服务器是否正常工作,实现双机高可用性能。

实现功能

通过该方案能够实现WEB应用服务器访问的负载均衡功能,通过Virtual Server 的HA来保证负载均衡服务器的高可用性。

 

使用LVS+KeepAlived的优缺点

1、  优点:整个架构完全开源免费,而且有很多相对比较标准活跃的论坛作为技术支撑

 

2、  缺点:功能简单,缺少收费产品的服务,出现问题之后必须依靠自己来处理。

 

安装ipvsadm

下载ipvsadm软件

#lsmod|grep ip_vs

如果没有则进行下面的安装,ipvsadm软件一般Linux系统光盘中都会自带,或者从官方上下载(http://www.linuxvirtualserver.org/software/ipvs.html#kernel-2.6

#uname –r

2.6.18-164.el5

查看系统版本然后下载相应版本的ipvsadm

安装ipvsadm

先为linux内核建立一个连接文件,在配置ipvsadm时需要用到内核中的一些函数库。

# ln -s /usr/src/kernels/2.6.18-164.el5 /  /usr/src/linux

#tar –zxvf ipvsadm-1.24.tar.gz

#cd ipvsadm-1.24

#configure

#make(这一步显示成功之后再进行make install)

#make install

然后在命令行中敲入ipvsadm确认是否已经安装成功

[root@wpg u01]# ipvsadm

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

如上则表明正确安装了ipvsadm

 

 

安装keepalived

下载keepalived

官网下载地址:http://www.keepalived.org/download.html

 

安装kee

#tar zxvf keepalived-1.1.15.tar.gz

#cd keepalived-1.1.15

#./configure

Keepalived configuration

------------------------

Keepalived version : 1.1.15

Compiler : gcc

Compiler flags : -g -O2

Extra Lib : -lpopt -lssl -lcrypto

Use IPVS Framework : Yes

IPVS sync daemon support : Yes

Use VRRP Framework : Yes

Use LinkWatch : Yes

Use Debug flags : No

执行完configure之后会出现上面的显示结果,红色标出部分为LVS所需服务状态必须为YES

 

#make(这一步成功之后进行安装)

#make install

安装完成之后查看一下是否安装成功。

#find / -name keepalived  # 查看keepalived位置以便于后面复制文件

#cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/

#cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/

#mkdir /etc/keepalived

#cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/

#cp /usr/local/sbin/keepalived /usr/sbin/

#chkconfig --add keepalived #设置为开启启动

#chkconfig keepalived on

到此keepalived也已经安装完毕,后面我需要对其进行配置来实现,负载均衡+双机的功能。

 

 

配置LVS

         这一步需要在做负载均衡的两台vserver上都要执行

编写LVS配置脚本

vi /usr/local/sbin/lvs-dr.sh

 

 #!/bin/bash

 # description: start LVS of DirectorServer

GW=192.168.90.254

 # website director vip.

 WEB_VIP=192.168.90.200

 WEB_RIP1=192.168.90.220

 WEB_RIP2=192.168.90.221

 . /etc/rc.d/init.d/functions

 

 logger $0 called with $1

 

 case "$1" in

 

 start)

         # Clear all iptables rules.

         /sbin/iptables -F

         # Reset iptables counters.

         /sbin/iptables -Z

         # Clear all ipvsadm rules/services.

         /sbin/ipvsadm -C

 

 #set lvs vip for dr

         /sbin/ipvsadm --set 30 5 60

         /sbin/ifconfig eth0:0 $WEB_VIP broadcast $WEB_VIP netmask 255.255.255.255 up

         /sbin/route add -host $WEB_VIP dev eth0:0

         /sbin/ipvsadm -A -t $WEB_VIP:80 -s wrr -p 3

         /sbin/ipvsadm -a -t $WEB_VIP:80 -r $WEB_RIP1:80 -g -w 1

         /sbin/ipvsadm -a -t $WEB_VIP:80 -r $WEB_RIP2:80 -g -w 1

         touch /var/lock/subsys/ipvsadm >/dev/null 2>&1

        

         # set Arp

         /sbin/arping -I eth0 -c 5 -s $WEB_VIP $GW >/dev/null 2>&1

         /sbin/ipvsadm -ln

       ;;

 stop)

         /sbin/ipvsadm -C

         /sbin/ipvsadm -Z

         ifconfig eth0:0 down

         route del $WEB_VIP  >/dev/null 2>&1

         rm -rf /var/lock/subsys/ipvsadm >/dev/null 2>&1

         /sbin/arping -I eth0 -c 5 -s $WEB_VIP $GW

         echo "ipvsadm stoped"

        ;;

 

 status)

 

         if [ ! -e /var/lock/subsys/ipvsadm ];then

                 echo "ipvsadm is stoped"

                 exit 1

         else

                 ipvsadm -ln

                 echo "..........ipvsadm is OK."

         fi

       ;;

 

 *)

         echo "Usage: $0 {start|stop|status}"

         exit 1

 esac

 

 exit 0

#------------------------The end of the Scripts-------------------------------------------

 

 

脚本编写完成之后分别在分别在两个节点上跑一次如果跑成功之后应该显示如下结果:

[root@wpg u01]# ./lvsdr.sh status

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  192.168.90.100:80 wrr persistent 3

  -> 192.168.90.221:80            Route   1      0          0        

  -> 192.168.90.220:80            Local   1      0          0        

..........ipvsadm is OK.

192.168.90.100为我们设置的虚拟IP下面的两个为Real ServerIP

这时候查看系统IP会发现多了一个浮动IP地址。

eth0      Link encap:Ethernet  HWaddr 00:0C:29:18:CB:8D 

          inet addr:192.168.90.220  Bcast:192.168.90.255  Mask:255.255.255.0

          inet6 addr: fe80::20c:29ff:fe18:cb8d/64 Scope:Link

          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1

          RX packets:2973 errors:0 dropped:0 overruns:0 frame:0

          TX packets:10151 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000

          RX bytes:297588 (290.6 KiB)  TX bytes:533370 (520.8 KiB)

          Interrupt:67 Base address:0x2024

 

eth0:0    Link encap:Ethernet  HWaddr 00:0C:29:18:CB:8D 

          inet addr:192.168.90.100  Bcast:192.168.90.100  Mask:255.255.255.255

          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1

          Interrupt:67 Base address:0x2024

到此我们就完成了负载均衡的配置。

 

 

配置KeepaLived

Vserver1端配置

编辑keepalived的配置文件,在/etc/keepalived/目录下

#vi /etc/keepalived/keepalived.conf

 

! Configuration File for keepalived

 

global_defs {

   router_id LVS_DEVEL

}

vrrp_sync_group lvs_1 {

           group {

                 VI_1

                 VI_GATEWAY

                   }

}

 

vrrp_instance VI_1 {

    state MASTER

    interface eth0

    virtual_router_id 51

    priority 100

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1111

    }

    virtual_ipaddress {

        192.168.90.100

    }

}

 

vrrp_instance VI_GATEWAY {

    state MASTER

    interface eth0

    virtual_router_id 52

    priority 100

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1111

     }

     virtual_ipaddress {

         192.168.90.200

     }

}

 

virtual_server 192.168.100 80 {

    delay_loop 6

    lb_algo wlc

    lb_kind NAT

    nat_mask 255.255.255.0

    persistence_timeout 1200

    protocol TCP

 

    real_server 192.168.90.223 80 {

        weight 1

        inhibit_on_failure

        TCP_CHECK {

            connect_port 80

            connect_timeout 4

        }

    }

    real_server 192.168.90.224 80 {

        weight 1

        TCP_CHECK {

            connect_port 80

            connect_timeout 4

 

        }

    }

}

 

#-----------------------The End-------------------

Vserver2配置

#vi /etc/keepalived/keepalived.conf

 

! Configuration File for keepalived

 

global_defs {

   router_id LVS_DEVEL

}

vrrp_sync_group lvs_1 {

           group {

                 VI_1

                 VI_GATEWAY

                   }

}

 

vrrp_instance VI_1 {

    state BACKUP

    interface eth0

    virtual_router_id 51

    priority 90

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1111

    }

    virtual_ipaddress {

        192.168.90.100

    }

}

 

vrrp_instance VI_GATEWAY {

    state BACKUP

    interface eth0

    virtual_router_id 52

    priority 100

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1111

     }

     virtual_ipaddress {

         192.168.90.200

     }

}

 

virtual_server 192.168.100 80 {

    delay_loop 6

    lb_algo wlc

    lb_kind NAT

    nat_mask 255.255.255.0

    persistence_timeout 1200

    protocol TCP

 

    real_server 192.168.90. 223 80 {

        weight 1

        inhibit_on_failure

        TCP_CHECK {

            connect_port 80

            connect_timeout 4

        }

    }

    real_server 192.168.90.224 80 {

        weight 1

        TCP_CHECK {

            connect_port 80

            connect_timeout 4

 

        }

    }

}

开启IP转发

分别在两台vserver服务器的/etc/sysctl.conf文件中添加如下配置:

 

net.ipv4.ip_forward=1

 

配置RealServer

配置IP转发功能

每个web服务器节点都需要进行配置

vim /etc/sysctl.conf

net.ipv4.ip_forward=1

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

配置网关

vim /etc/sysconfig/network-scripts/ifcfg-eth0添加

    GATEWAY172.168.90.200

service network restart

 

设置开启启动

将编写的lvsdr.sh配置脚本拷贝到/usr/local/sbin/目录下,然后将下面两个命令添加到/etc/rc.local文件中这样,就能在开机之后自动启动LVS服务了。

/usr/local/sbin/lvsdr.sh start (把这条语句写到/etc/rc.local中,开机启动)

/etc/init.d/keepalived start  启动keepalived 服务,keepalived就能利用keepalived.conf 配置文件,实现负载均衡和高可用.

 

功能测试

负载均衡测试

 

 

双机切换测试

 

压力测试

 

 

 

LVS基本管理

启动、关闭

1、  ipvsadm 的启动和关闭

使用编写的lvsdr.sh脚本即可

#lvsdr.sh start  启动

#lvsdr.sh stop 关闭

 

2、   keepalived的启动和关闭

#/etc/init.d/keepalived start   启动

#/etc/init.d/keepalived stop   关闭

 

查看服务状态

1、  ipvsadm的服务状态

#ipvsadm -ln

2、  keepalived的服务状态

#/etc/init.d/keepalived status

 

添加节点

#/sbin/ipvsadm -a -t $WEB_VIP:port -r $WEB_RIP2:port -g -w 1

通过该命令来添加节点 $WEB_VIP:port代表 虚拟服务器的IP和端口,$WEB_RIP2:port

代表真实应用服务器的IP和端口。

 

监控日志

通过监控日志来检测服务信息:

#tail –f /var/log/messages

 

 

LVSIP负载均衡

在下面我们主要介绍三种IP负载均衡技术的原理

VS/NAT

通过 NAT 实现虚    拟服务器( VS/NAT )。

NAT 的工作原理是报文头(目标地址、源地址和端口等) 被正确改写后,客户相信它们连接一个 IP 地址,而不同 IP 地址的服务器组也认为它们是与客户直接相连的。由此,可以用 NAT 方法将不同 IP 地址的并行网络服务变成在一个 IP 地址上的一个虚拟服务。

   

客户通过 Virtual IP Address (虚拟服务的 IP 地址)访问网络服务时,请求报文到达调度器,调度器根据连接调度算法从一组真实服务器中选出一台服务器,将报文的目标地址 Virtual IP Addres s改写成选定服务器的地址,报文的目标端口改写成选定服务器的相应端口,最后将修改后的报文发送给选出的服务器。同时,调度器在连接 Hash 表中记录这个连接,当这个连接的下一个报文到达时,从连接 Hash 表中可以得到原选定服务器的地址和端口,进行同样的改写操作,并将报文传给原选定的服务器。当来自真实服务器的响应 报文经过调度器时,调度器将报文的源地址和源端口改为 Virtual IP Address 和相应的端口,再把报文发给用户。我们在连接上引入一个 状态机,不同的报文会使得连接处于不同的状态,不同的状态有不同的超时值。在 TCP 连接中,根据标准的 TCP 有限状态机进行状态迁移;在 UDP 中,我们只设置一个 UDP 状态。不同状态的超时值是可以设置的,在缺省情况下, SYN 状态的超时为 1 分钟, ESTABLISHED 状态的超时为15 分钟, FIN 状态的超时为 1 分钟; UDP 状态的超时为 5 分钟。当连接终止或超时,调度器将这 个连接从连接 H ash 表中删除。

   这样,客户所看到的只是在 Virtual IP Address 上提供的服务,而服务器集群的结构对用户是透明的。

 

如下是我的测试环境:

Prot LocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  192.168.130.200:80 wrr persistent 3

  -> 192.168.130.184:80           Route   1      0          0  

  -> 192.168.130.183:80           Route   1      0          0 

现在有一个web请求从客户端:202.100.1.12380端口发出,这时调度器会把该请求均衡的分配到每个真实的服务器,假设选择了192.168.130.183这台应用服务器。这样调度器(Vserver)收到的请求报文中源地址和目标地址为:

SOURCE             202.100.1.12380           DES                    192.168.130.200:80

这时调度器会选择一台这时服务器来处理这个请求,该报文就会被改写为:

SOURCE               202.100.1.12380           DES                    192.168.130.183:80

然后应用服务器处理完请求之后,返回到调度器的报文为:

  SOURCE                192.168.130.183:80          DES                    202.100.1.12380

调度器会将响应的报文中的源地址改为虚拟VIP然后发给客户端:

  SOURCE                192.168.130.200:80          DES                    202.100.1.12380

这样就完成了一个请求和相应的过程。对client端来看这些都是不可见的,client会认为是VIP的服务器处理并相应的请求。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/26723566/viewspace-1081942/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2012-06-04

  • 博文量
    58
  • 访问量
    192528