LVS

DR模式实现

实现DR模式注意实现

lvs服务器没有网关的话将无法将客户端的请求信息转发给后端的realserver，没有网关就认为出不去，所以就不转发，lvs的网关可以随便写，只要让lvs服务器认为有网关能出去就行，但是！网关必须写真正的网关，因为如果realserver宕机，而lvs服务器没有真正的网关的话将无法及时通知用户临时维护无法访问等信息
Real Server的VIP禁用ARP内核参数(通常VIP是绑定在lo网卡上)，但RIP不禁用，因为RIP如果禁用的话LVS的广播报文Real Server将无法收到
生产中通常LVS和RS都使用私网地址，然后在防火墙上配置公网地址，用户访问的防火墙的VIP，最后由防火墙做DNAT转换转发到LVS上

LVS-DR模式单网段案例

前言

环境准备

此实验前需禁用所有主机的iptables和SElinux

#internet host配置，一块仅主机模式网卡
[root@internet network-scripts]#cat ifcfg-eth0
BOOTPROTO=none
NAME=eth0
DEVICE=eth0
ONBOOT=yes
IPADDR=192.168.0.6
PREFIX=24
GATEWAY=192.168.0.200

#router配置，一块仅主机模式网卡(eth1)，一块nat模式网卡(eth0)
[root@router ~]#echo 'net.ipv4.ip_forward=1' >> /etc/sysctl.conf #开启路由转发功能
[root@router ~]#sysctl -p
net.ipv4.ip_forward = 1
[root@router network-scripts]#cat ifcfg-eth0
DEVICE=eth0
NAME=eth0
IPADDR=10.0.0.200
PREFIX=24
BOOTPROTO=static
ONBOOT=yes
[root@router network-scripts]#cat ifcfg-eth1
DEVICE=eth1
NAME=eth1
IPADDR=192.168.0.200
PREFIX=24
BOOTPROTO=static
ONBOOT=yes

#RS1配置(注意先安装http，否则修改网关后将无法访问互联网连接yum源安装)
[root@RS1 ~]#yum -y install httpd ; systemctl enable --now httpd
[root@RS1 ~]#echo `hostname -I` > /var/www/html/index.html
[root@RS1 ~]#cat /etc/sysconfig/network-scripts/ifcfg-eth0 
DEVICE=eth0
NAME=eth0
IPADDR=10.0.0.7
PREFIX=24
BOOTPROTO=static
ONBOOT=yes
GATEWAY=10.0.0.200
[root@RS1 ~]#echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore #忽略arp广播
[root@RS1 ~]#echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@RS1 ~]#echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce #对外不公开arp
[root@RS1 ~]#echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
[root@RS1 ~]#ifconfig lo:1 10.0.0.100/32 #临时将VIP绑定在回环网卡上，注意一定要先修改内核参数后在绑定VIP，防止冲突

#RS2配置(注意先安装http，否则修改网关后将无法访问互联网连接yum源安装)
[root@RS2 ~]#yum -y install httpd ; systemctl enable --now httpd
[root@RS2 ~]#echo `hostname -I` > /var/www/html/index.html
[root@RS2 ~]#cat /etc/sysconfig/network-scripts/ifcfg-eth0 
DEVICE=eth0
NAME=eth0
IPADDR=10.0.0.17
PREFIX=24
BOOTPROTO=static
ONBOOT=yes
GATEWAY=10.0.0.200
[root@RS1 ~]#echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@RS1 ~]#echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@RS1 ~]#echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@RS1 ~]#echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
[root@RS1 ~]#ifconfig lo:1 10.0.0.100/32 #临时将VIP绑定在回环网卡上，注意一定要先修改内核参数在绑定VIP，防止冲突

#生产中内核参数需永久保存
[root@RS1 ~]#echo 'net.ipv4.conf.all.arp_ignore=1' >> /etc/sysctl.conf
[root@RS1 ~]#echo 'net.ipv4.conf.all.arp_announce=2' >> /etc/sysctl.conf
[root@RS1 ~]#echo 'net.ipv4.conf.lo.arp_ignore=1' >> /etc/sysctl.conf
[root@RS1 ~]#echo 'net.ipv4.conf.lo.arp_announce=2' >> /etc/sysctl.conf

#LVS配置
[root@LVS network-scripts]#cat ifcfg-eth0
DEVICE=eth0
NAME=eth0
IPADDR=10.0.0.8
PREFIX=24
BOOTPROTO=static
ONBOOT=yes
GATEWAY=10.0.0.200
[root@LVS ~]#ifconfig lo:1 10.0.0.100/32 #临时将VIP绑定在回环网卡上

Client 准备

Route 准备

# cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
NAME=eth0
IPADDR=172.16.0.18
PREFIX=16
BOOTPROTO=static
ONBOOT=yes

# cat /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth1
NAME=eth1
IPADDR=10.0.0.200
PREFIX=24
BOOTPROTO=static
ONBOOT=yes

# echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf 
# sysctl -p
net.ipv4.ip_forward = 1

LVS 准备

准备sorry server

网关指向route

root@lvs:~# ip route 
default via 10.0.0.200 dev eth0 proto static 
10.0.0.0/24 dev eth0 proto kernel scope link src 10.0.0.100

LVS最终配置

# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:cd:b5:7f brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.100/24 brd 10.0.0.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fecd:b57f/64 scope link 
       valid_lft forever preferred_lft forever
3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:cd:b5:89 brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.123/32 scope global eth1
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fecd:b589/64 scope link 
       valid_lft forever preferred_lft forever

RS 准备

在所有RS执行以下操作

修改ARP相关内核参数

注意：修改arp相关内核参数一定要先于绑定VIP，否则会因添加VIP后产生的免费arp广播而导致地址冲突
all 和 lo 相关内核参数都要修改，不能只修改lo

临时生效

# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

永久生效

# echo 'net.ipv4.conf.all.arp_ignore=1' >> /etc/sysctl.conf
# echo 'net.ipv4.conf.all.arp_announce=2' >> /etc/sysctl.conf
# echo 'net.ipv4.conf.lo.arp_ignore=1' >> /etc/sysctl.conf
# echo 'net.ipv4.conf.lo.arp_announce=2' >> /etc/sysctl.conf

# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

绑定VIP到lo网卡上

临时生效

#方法一
ifconfig lo:1 10.0.0.123/32

#方法二
ip addr add 10.0.0.123/32 label lo:1 dev lo

永久生效

# vim /etc/systemd/system/mystartup.service
[Unit]
Description=Runs /usr/local/bin/mystartup.sh

[Service]
ExecStart=/usr/local/bin/mystartup.sh


[Install]
WantedBy=multi-user.target

# echo -e '#!/bin/bash\n/usr/sbin/ip addr add 10.0.0.123/32 label lo:1 dev lo' >>  /usr/local/bin/mystartup.sh

# chmod +x /usr/local/bin/mystartup.sh

# systemctl daemon-reload 

# systemctl enable --now mystartup.service

准备web页面

# apt -y install nginx

# hostname > /var/www/html/index.nginx-debian.html

# systemctl enable --now nginx

网关指向route

root@rs1:~# ip route 
default via 10.0.0.200 dev eth0 proto static 
10.0.0.0/24 dev eth0 proto kernel scope link src 10.0.0.102 

root@rs2:~# ip route 
default via 10.0.0.200 dev eth0 proto static 
10.0.0.0/24 dev eth0 proto kernel scope link src 10.0.0.103

RS最终配置

root@rs1:~# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet 10.0.0.123/32 scope global lo:1
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:06:ce:34 brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.102/24 brd 10.0.0.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe06:ce34/64 scope link 
       valid_lft forever preferred_lft forever

----------------------------------------------------------------------------------

root@rs2:~# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet 10.0.0.123/32 scope global lo:1
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:8a:bd:41 brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.103/24 brd 10.0.0.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe8a:bd41/64 scope link 
       valid_lft forever preferred_lft forever
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default 
    link/ether 02:42:76:2a:db:81 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever

添加LVS规则

# yum -y install ipvsadm

# ipvsadm -A -t 10.0.0.123:80 -s rr

# ipvsadm -a -t 10.0.0.123:80 -r 10.0.0.102:999 -g #real server端口写错也会被纠正回

# ipvsadm -a -t 10.0.0.123:80 -r 10.0.0.103:80 -g

---------------------------------------------------------------------------------

#LVS最终规则
# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.0.0.123:80 rr
  -> 10.0.0.102:80                Route   1      0          0         
  -> 10.0.0.103:80                Route   1      0          0

测试

[root@internet ~]#curl 10.0.0.123
rs1
[root@internet ~]#curl 10.0.0.123
rs2

#后端RS可以看到真实的访问地址
# cat /var/log/nginx/access.log 
10.0.0.7 - - [14/Apr/2022:10:09:00 +0800] "GET / HTTP/1.1" 200 4 "-" "curl/7.29.0"

LVS-DR模式多网段案例

环境准备

在单网段基础上修改:

调度算法

四种静态调度算法

仅根据算法本身进行调度

RR

Round Robin 轮询

轮流调度

WRR

Weighted Round Robin 加权轮询

根据对RS设置的权重按比例调度，权重越高则调度次数越多

SH

Source Hashing 源地址hash

实现session sticky
将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定**（将源地址的hash值和服务器的数量进行取模，后端服务器数量不变的话会始终保持向同一台服务器调度）**

DH

Destination Hashing 目标地址hash

第一次轮询调度至RS，后续将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商

六种动态调度算法

根据后端服务器的状态来进行动态调度

主要根据每RS当前的负载状态及调度算法进行调度Overhead=value 较小的RS将被调度

LC

least connections 最少连接调度

适用于长连接应用
把新的连接请求分配到当前连接数最小的服务器。最小连接调度是一种动态的调度算法，它通过服务器当前活跃的连接数来估计服务器的情况。调度器需要记录各个服务器已建立连接的数目，当一个请求被调度到某台服务器，其连接数加1；当连接中断或者超时，其连接数减1。

Overhead=activeconns*256+inactiveconns

WLC

Weight Least Connections 加权最少连接

默认调度方法
小连接调度的超集，各个服务器相应的权值表示其处理性能。服务器的缺省权值为1，系统管理员可以动态地设置服务器的权值。加权最小连接调度在调度新连接时尽可能使服务器的已建立连接数和其权值成比例。
调度器可以自动问询真实服务器的负载情况，并动态地调整其权重值。

Overhead=(activeconns*256+inactiveconns)/weight

SED

Shortest Expection Delay 最短的期望的延迟调度

工作模式

前言

LVS是内核里的一个功能，而不是一个软件，因为集成在内核中，所以性能非常优秀，最高可以达到百万级并发响应

LVS集群中的术语

VS：Virtual Server LVS本身
RS：Real Server 后端真正提供服务的服务器
- lvs：Real Server
- nginx：upstream server
- haproxy：backend server
CIP：Client IP 客户端IP
VIP：Virtual serve IP LVS外网的IP
DIP：Director IP LVS内网的IP
RIP：Real server IP 后端真正提供服务的服务器IP
访问流程：CIP <–> VIP == DIP <–> RIP

LVS的四种工作模型

lvs-nat：修改请求报文的目标IP,多目标IP的DNAT
lvs-dr：操纵封装新的MAC地址
lvs-tun：在原请求IP报文之外新加一个IP首部
lvs-fullnat：修改请求报文的源和目标IP（内核默认不支持，需要编译做二次开发）

LVS的核心缺点

LVS自身没有对后端服务器的健康性检查功能，不过可以配合keepalived来实现对后端server的健康性检查

LVS-DR 模式

DR模式概述

下面图中的Director就是LVS

Direct Routing 直接路由，应用最广泛，生产中的主流模型，也是LVS的默认模式

特点

LVS和各RS都配置有VIP
请求报文要经由LVS，但响应报文不经由LVS，而由RS直接发往Client
不支持端口映射（端口不能修败）
RS可使用大多数OS系统
生产中通常LVS和RS都使用私网地址，然后在防火墙上配置公网地址，用户访问的防火墙的VIP，最后由防火墙做DNAT转换转发到LVS上

优点

最大优点是响应报文直接由 RS 响应给 client

缺点

Real Server 和 LVS Server 间不能使用路由器，因为 LVS Server 要将client端的请求报文转发到 Real Server 并且要通过ARP广播来获取 Real Server 的MAC地址再将目标MAC改为 Real Server 的MAC地址，而路由器会阻断广播报文，所以 Real Server 和 LVS Server 不能距离太远，且只能使用交换机相连

DR模式工作原理

首先RS会绑定一个和LVS相同的VIP，并且RS会通过修改内核参数的方式不对ARP广播做出响应，从而避免地址冲突

客户端访问LVS，源IP为客户端的IP，目标IP为LVS的VIP，发送给LVS
LVS收到客户端的请求报文后，会根据调度算法选出一台RS，然后将目标的MAC地址改为RS的MAC，发送给RS
RS处理完毕后，会将目标IP改为客户端的IP，因为本身具有VIP，所以将报文直接发送给客户端

DR模式注意事项

Real Server 和 LVS Server 要在同一个物理网络
Real Server 的网关不能指向 LVS server，以确保响应报文不会经由 LVS server
Real Server 和 LVS Server 间不能使用路由器

DR模式解决RS VIP ARP广播响应

方法一修改内核参数(常用)

官方文档：https://docs.kernel.org/networking/ip-sysctl.html?highlight=arp_announce

LVS

DR模式实现

实现DR模式注意实现

LVS-DR模式 单网段案例

前言

环境准备

Client 准备

Route 准备

LVS 准备

准备sorry server

网关指向route

LVS最终配置

RS 准备

修改ARP相关内核参数

临时生效

永久生效

绑定VIP到lo网卡上

临时生效

永久生效

准备web页面

网关指向route

RS最终配置

添加LVS规则

测试

LVS-DR模式 多网段案例

环境准备

调度算法

四种静态调度算法

RR

WRR

SH

DH

六种动态调度算法

LC

WLC

SED

工作模式

前言

LVS集群中的术语

LVS的四种工作模型

LVS的核心缺点

LVS-DR 模式

DR模式 概述

特点

优点

缺点

DR模式 工作原理

DR模式 注意事项

DR模式 解决RS VIP ARP广播响应

方法一 修改内核参数(常用)

LVS-DR模式单网段案例

LVS-DR模式多网段案例

DR模式概述

DR模式工作原理

DR模式注意事项

DR模式解决RS VIP ARP广播响应

方法一修改内核参数(常用)