部署图

简单操作

Real Server节点操作

1，交付上报服务

在两个RS节点192.168.100.34和192.168.100.35成功完成数据上报服务的实例交付。

2，启动上报服务

在两个RS节点192.168.100.34和192.168.100.35上启动FTP/REST内核服务。

systemctl status ftp
systemctl restart ftp
 
systemctl status rest
systemctl restart rest

3，创建LVS节点

在RS节点上创建lo:0虚拟网卡并修改内核参数，需要在两个RS节点192.168.100.34和192.168.100.35执行如下操作，切记只能在两个RS节点上执行！！！否则会导致其他节点服务访问。

创建install_vip.sh脚本文件，内容如下：

CT_VIP=192.168.100.111
source /etc/rc.d/init.d/functions
case "$1" in
start)
       ifconfig lo:0 $CT_VIP netmask 255.255.255.255 broadcast $CT_VIP
       /sbin/route add -host $CT_VIP dev lo:0
       echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
       sysctl -p >/dev/null 2>&1
       echo "RealServer Start OK"
       ;;
stop)
       ifconfig lo:0 down
       route del $CT_VIP >/dev/null 2>&1
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
       echo "RealServer Stoped"
       ;;
*)
       echo "Usage: $0 {start|stop}"
       exit 1
esac
exit 0

执行命令创建和销毁lo:0虚拟网卡和设置内核参数以及重置内核参数。

# 1，上传脚本
rz -bye
 
# 2，创建
sh install_vip.sh start
 
# 3，需要注意机器重启后lo:0网卡就会丢失，需要配置开机启动
chmod +x /etc/rc.d/rc.local
echo '# for lvs lo:0' >> /etc/rc.local
echo '/root/install_vip.sh start' >> /etc/rc.local

创建成功后可以看到下图则表示成功。

Director Server节点操作

1，创建keepalived配置文件

创建keepalived.conf配置文件。参考模板如下。

! Configuration File for keepalived
 
global_defs {
    router_id T_LVS
}
 
vrrp_instance VI_1 {                                # 定义VRRP实例名（VT_1）,建议默认配置
    state MASTER                                   # 当前节点的主备初始状态，可以为MASTER和BACKUP
    interface enp1s0                                # 机器的具体网卡
    virtual_router_id 100                          # 虚拟路由id，唯一标识，主备节点该值相同
    mcast_src_ip 192.168.100.244                    # 发送多播包的地址，一般问本机ip
    priority 100                                   # 节点初始优先级
    advert_int 1                                   # vrrp通告优先级时间间隔
     
    authentication {                              # 认证机制
        auth_type PASS
        auth_pass xxxx                             # 密钥，和其他keepalived节点必须一致
    }
 
    virtual_ipaddress {
       192.168.100.111                    # 虚拟IP
    }
}
 
virtual_server fwmark 300 {                 # virtual server（虚拟服务器），FTP使用ipvs的防火墙打标方式
    delay_loop 6                        # 健康检查的时间间隔
    lb_algo wrr                                     # 负载调度算法
    lb_kind DR                                      # lvs的模式
    protocol TCP                                    # ip包转发协议，有TCP和UDP两种
    persistence_timeout 900
     
    real_server 192.168.100.34 9814 {              # ftp real server 的ip+port
        weight 1                                   # 权重
        TCP_CHECK {                                # 健康检查
            connect_timeout 3                      # 无响应超时时间，单位是秒
            nb_get_retry 3                         # 重连次数
            delay_before_retry 3                   # 重试间隔
            connect_port 9814                      # real_server指定的端口
        }
    }
     
    real_server 192.168.100.35 9814 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 9814
        }
    }
}
 
virtual_server 192.168.100.111 9826 {              # rest的 virtual_server
    delay_loop 6
    lb_algo wrr
    lb_kind DR
    protocol TCP
 
    real_server 192.168.100.34 9826 {
        weight 1
        TCP_CHECK {
        connect_timeout 3
        nb_get_retry 3
        delay_before_retry 3
        }
    }
     
    real_server 192.168.100.35 9826 {
        weight 1
        TCP_CHECK {
        connect_timeout 3
        nb_get_retry 3
        delay_before_retry 3
        }
    }
}

在另一个节点按上同理操作，修改keepalived.conf配置文件中为state  BACKUP，priority 50；

2，安装keepalived+lvs

建议下载使用keepalived-2.0.13.tar.gz离线安装，使用yum install -y keepalived安装的版本可能会出现调度问题。

安装流程如下：

# 1,上传keepalived-2.0.13.tar.gz安装文件
rz -bye
 
# 2,解压
tar -zxvf keepalived-2.0.13.tar.gz
 
# 3，编译并安装
yum install -y gcc
yum install libnl3-devel
cd keepalived-2.0.13/
./configure --prefix=/usr/local/keepalived
make && make install
 
# 4，配置开机启动
mkdir /etc/keepalived
cp /usr/local/keepalived/etc/sysconfig/keepalived  /etc/sysconfig/
ln -s /usr/local/keepalived/sbin/keepalived  /usr/sbin/
systemctl enable   keepalived
 
# 5，上传配置文件keepalived.conf
cd /etc/keepalived
rz -bye 
 
# 6，启动keepalived
systemctl restart  keepalived
systemctl status   keepalived
 
# 7，安装ipvsadm
yum -y install ipvsadm

3，操作iptables

在两个DR节点192.168.100.145和192.168.100.244上执行如下操作。由于FTP在passive mode可能无法使用ip+端口的形式定义virtual_server，只能使用ipvs的防火墙打标方式。

# 1，给FTP的服务端口（9814）和数据传输端口（8000:10000）
iptables -t mangle -A PREROUTING -p tcp -d 192.168.100.111 --dport 9814 -j MARK --set-mark 300
iptables -t mangle -A PREROUTING -p tcp -d 192.168.100.111 --dport 8000:10000 -j MARK --set-mark 300
 
# 2，查看是否生效
iptables -t mangle -L
 
# 3，保存 iptables 避免重启机器后标签丢失
yum install -y iptables-services
systemctl enable iptables.service
service iptables save

4，测试负载均衡+高可用是否生效

FTP服务

# 测试ftp走vip是否ok
ftp -nvi 192.168.100.111 9814
user admin ***

 

REST服务

# 创建一个测试文件
touch test_rest_compoent_available.txt
 
# 执行rest 脚本
chmod +x rest-test.sh
sh rest-test.sh 192.168.100.111 'xxxx'

 

6，高可用测试

在一个RS节点执行脚本

while true; do sh rest-test.sh 192.168.100.111 'xxxxx'; sleep 1;done
ftp -nvi 192.168.100.111 9814

模拟LVS节点下线

在LVS MASTER节点执行systemctl stop  keepalived；ip a可以看到vip漂移走了。

在LVS BACKUP节点执行ip a可以看到VIP转移到了BACKUP上;

服务检查正常，VIP回到MASTER节点；

模拟RS节点下线

# 在其中一个RS（192.168.100.34）节点执行
systemctl stop ftp && systemctl stop rest
 
# 然后再LVS节点上执行
watch ipvsadm -Ln --stats

可以看到192.168.100.34节点已经不在路由中了。

然后访问服务，可以看到服务正常；

总结

1，为何负载均衡用LVS而不是nginx？

答：LVS+DR模式下，LVS节点只有请求包的流量，响应包的流量不过LVS节点，性能更高。且LVS为4层负载，nginx为7层负载，在小文件的场景下用不上7层负载。

 

2，FTP为何要用ipvs的防火墙打标方式？

答：如果FTP不用fwmark的方式，那么FTP只能访问9814服务端口，在passive mode的情况下可能无法访问数据传输端口。

 

3，LVS和keepalived分别起什么样的角色？

答：keepalived是LVS的一部分。keepalived顾名思义“保活”，LVS为负载均衡。

 

4，两节点下其中一个keepalived只是备用，一直空闲？

答：生产环境一般用2个VIP做双主相互热备，2个VIP绑定2个外网IP并绑定DNS域名对外服务。