注意事项

现在大多数网卡都具有LRO(Large Receive Offload)和GRO(Generic Receive Offload)功能。即网卡收包时将同一流的小包合并成大包交给内核协议栈来提升接收性能。合并后的大包通常大于最大传输单元MTU（Maximum Transmission Unit）。而LVS内核模块在双网卡bond场景下处理>MTU的数据包时，会丢弃。此时，使用LVS来传输大文件，很容易出现丢包，传输速度慢。

因此，当LVS使用的网卡是双网卡bond时，需要关闭客户端、LVS主备节点和CN的bond网卡和物理网卡的lro、gro 、gso 、tso参数，具体如下所示（假设bond网卡名称为bond0，被bond的两个物理网卡是eth1和eth2）：

ethtool -K bond0 lro gro gso tso off
ethtool -K eth1 gro lro gso tso off
ethtool -K eth2 gro lro gso tso off

使用下面命令查看是否关闭：

ethtool -k bond0
ethtool -k eth1
ethtool -k eth2

显示如下信息表示lro和gro已关闭。

tcp-segmentation-offload：off
generic-segmentation-offload:off
generic-receive-offload: off
large-receive-offload: off

操作步骤

1. 在plat1上执行步骤2到步骤3安装负载均衡主节点，然后在plat2上执行步骤2到步骤3安装负载均衡备节点。然后分别在集群内有CN的主机上执行步骤2到步骤3将LVS虚拟IP地址绑定到各CN主机的lo网卡上。
2. 以root用户身份登录服务器，执行source ${BIGDATA_HOME}/mppdb/.mppdbgs_profile命令启动环境变量。
3. 执行gs_loadbalance安装LVS软件。

   gs_loadbalance -t install -U omm -X ${BIGDATA_HOME}/FusionInsight_MPPDB_6.5.1/*_*_MPPDBServer/etc/mppdb-install-config.xml --master=plat1 --standby=plat2 --lvs-addr=10.146.156.101

   命令中各参数说明如下：

   • -U：运行集群的操作系统用户名。必选。
   • -X：集群配置文件。必选。
   • --master：安装主LVS的主机名。必选。
   • --standby：安装备LVS的主机名。可选。
   • --lvs-addr：后续供客户端连接的LVS IP地址。必选。需指定为一个未被使用的虚拟IP地址，且此虚拟IP地址必须与业务IP在同一网段。

     对于有公网和私网双层网络的集群，推荐优先使用公网IP，如示例中的10.10.0.100。当然，对于不支持公网的集群，此虚拟IP也可以使用私网IP，例如10.146.156.101。

     安装LVS时，主LVS上会自动虚拟出该IP。主LVS损坏时，keepalived会自动将IP配置到备LVS上。

     在GaussDB 200集群各含有CN的主机上执行时，该虚拟IP地址会自动绑定到lo网卡上。

4. 检查安装过程是否成功。
   • 在主备LVS上分别执行如下命令：

     ipvsadm -Ln

     执行上述命令后，如果出现如下屏显信息，则安装成功。

     IP Virtual Server version 1.2.1 (size=4096)
     Prot LocalAddress:Port Scheduler Flags
       -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
     FWM  1 rr
       -> 10.146.156.142:8120          Route   1                
   • 如果只安装主LVS，不指定备的话，执行如下命令：

     ipvsadm -Ln

     执行上述命令后，如果出现如下屏显信息，则安装成功。

     IP Virtual Server version 1.2.1 (size=4096)
     Prot LocalAddress:Port Scheduler Flags
       -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
     TCP  10.146.156.101:8120 rr
       -> 10.146.156.142:8120          Route   1                

5. 输入命令，查看加载是否成功。

   lsmod | grep ip_vs

   显示如下信息，则ipvs模块加载成功，LVS软件安装完毕。

   ip_vs_wrr              12697   
   ip_vs_wlc              12519   
   ip_vs_sh               12688   
   ip_vs_sed              12519   
   ip_vs_rr               12600  2 
   ip_vs_pe_sip           12650   
   ip_vs_nq               12516   
   ip_vs_lc               12516   
   ip_vs_lblcr            12929   
   ip_vs_lblc             12819   
   ip_vs_ftp              13079   
   ip_vs_dh               12688   
   ip_vs                 140944  27 ip_vs_dh,ip_vs_lc,ip_vs_nq,ip_vs_rr,ip_vs_sh,ip_vs_ftp,ip_vs_sed,ip_vs_wlc,ip_vs_wrr,ip_vs_pe_sip,ip_vs_lblcr,ip_vs_lblc
   nf_conntrack_sip       33860  1 ip_vs_pe_sip
   nf_nat                 26146  1 ip_vs_ftp
   nf_conntrack          105745  3 ip_vs,nf_nat,nf_conntrack_sip
   libcrc32c              12644  3 xfs,sctp,ip_vs

示例

假定虚拟IP为10.10.0.100。

• 初始安装：

  gs_loadbalance -t install -U omm -X ${BIGDATA_HOME}/FusionInsight_MPPDB_6.5.1/*_*_MPPDBServer/etc/mppdb-install-config.xml --master=plat1 --standby=plat2 --lvs-addr=10.10.0.100
  No virtual ip address on local host.
  Begin to install load balance component...compareAndCheckVirtualIp ...
  Begin to check virtual IP...Virtual ip check succeed.
  Begin to install LVS component...
  Begin to install LVS component...
  The configuration file of LVS has been configure succeed. 
  Succeed to restart /etc/init.d/gs_keepalived service.
  The 'gs_vip' file of CN configure succeed.
  Installed coordinator node files of load balance component successfully .
  Installed load balance component successfully .

• 重复安装：

  gs_loadbalance -t install -U omm -X ${BIGDATA_HOME}/FusionInsight_MPPDB_6.5.1/*_*_MPPDBServer/etc/mppdb-install-config.xml --master=plat1 --standby=plat2 --lvs-addr=10.10.0.100
  Get old virtual ip from lo: successfully.
  Begin to install load balance component...
  Check virtual ip address...
  Begin to check virtual IP...
  Virtual ip check successfully.
  Begin to install LVS component...
  Begin to configure LVS keepalived...
  The configuration file of LVS has been configure succeessfully.
  Restart /etc/init.d/gs_keepalived service successfully.
  Installed coordinator node files of load balance component successfully .
  Successfully installed load balance components.