Nginx四层负载均衡基本概诉

1、Nginx四层负载均衡基本概诉

(1) 什么是四层负载均衡

四层负载均衡基于传输层协议包来封装的（如：TCP/IP），那我们前面使用到的七层指的是应用层，它的封装在四层基础之上，无论四层还是七层都指的是OSI网络模型。

(2) 四层负载均衡应用场景

1.四层负载可以保证7层负载的高可用：四层+七层来做负载均衡，四层可以保证七层的负载均衡的高可用性，如：nginx就无法保证自己的服务高可用，需要依赖LVS或者keepaive。

2、端口映射（端口转发）：如：TCP协议的负载均衡，有些请求是TCP协议的（mysql，ssh），或者说这些请求只需要使用四层进行端口的转发就可以了，所以使用四层负载均衡。

(3) 四层+七层构建大规模集群架构使用场景

(4) 四层负载均衡总结

1、四层负载均衡仅能转发TCP/IP协议、UDP协议、通常用来转发端口，如：tcp/22、udp/53

2、四层负载均衡可以用来解决七层负载均衡端口限制问题；（七层负载均衡最大使用65535个端口）

3、四层负载均衡可以解决七层负载均衡高可用问题;（多台后端七层负载均衡能同时的使用）

4、四层的转发效率比七层的高得多，但仅支持tcp/ip协议，不支持http和https协议；

5、通常大并发场景通常会选择使用在七层负载均衡前面增加四层负载均衡

2、Nginx四层负载均衡实战

(1) Nginx四层负载语法

Syntax: listen address:port [ssl] [udp] [proxy_protocol] [fastopen=number] [backlog=number] [rcvbuf=size] [sndbuf=size] [bind] [ipv6only=on|off] [reuseport] [so_keepalive=on|off|[keepidle]:[keepintvl]:[keepcnt]];
    Default: —
    Context: server

#示例
    worker_processes auto;

    error_log /var/log/nginx/error.log info;

    events {
        worker_connections  1024;
    }
 
    #在events层下面，http层上面配置stream
    # stream配置多的时候，直接配置include更加简洁
 
 stream {
 #1.定义虚拟资源池
     upstream backend {
         hash $remote_addr consistent;
         server backend1.example.com:12345 weight=5;
         server 127.0.0.1:12345  max_fails=3 fail_timeout=30s;
         server unix:/tmp/backend3;
      }

     upstream dns {
         server 192.168.0.1:53535;
         server dns.example.com:53;
      }
    #2.调用虚拟资源池
     server {
         listen 12345;
         proxy_connect_timeout 1s;
         proxy_timeout 3s;
         proxy_pass backend;
      }

     server {
         listen 127.0.0.1:53 udp reuseport;
         proxy_timeout 20s;
          proxy_pass dns;
      }

     server {
         listen [::1]:12345;
         proxy_pass unix:/tmp/stream.socket;
      }
    }

(2) Nginx四层负载均衡前期准备

① 环境规划

主机名        应用环境      IP地址
    Nginx-5        Nginx+PHP   192.168.2.5
    Nginx-6        Nginx+PHP   192.168.2.6
    MySQL-7          MySQL     192.168.2.7
    7-Proxy1-8       Nginx     192.168.2.8
    7-Proxy2-9       Nginx     192.168.2.9
    4-Proxy1-10      Nginx     192.168.2.10

② 搭建第二台七层proxy服务器 7-Proxy2-9

#1、准备对应的www用户
[root@7-Proxy2-9 ~]# groupadd -g666 www
[root@7-Proxy2-9 ~]# useradd -u666 -g666 www

#2、在7-Proxy2-9上面安装Nginx
[root@7-Proxy2-9 ~]# cat /etc/yum.repos.d/nginx.repo 
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0       
enabled=1
[root@7-Proxy2-9 ~]#  yum install nginx -y

#3、在7-Proxy2-9上面拷贝7-Proxy1-8的所有nginx相关配置即可。
[root@7-Proxy2-9 ~]# scp -rp root@192.168.2.8:/etc/nginx /etc/

#4、启动nginx
[root@7-Proxy2-9 conf.d]# nginx -t
[root@7-Proxy2-9 conf.d]# systemctl start nginx
[root@7-Proxy2-9 conf.d]# systemctl enable nginx
#注：注销7-Proxy1-8的域名解析，换成7-Proxy2-9，再访问网站是否游泳，成功即可。

③ 搭建四层proxy服务器 4-Proxy1-10

#1、准备对应的www用户
[root@4-Proxy1-10 ~]# groupadd -g666 www
[root@4-Proxy1-10 ~]# useradd -u666 -g666 www

#2、在4-Proxy1-10上面安装Nginx
[root@4-Proxy1-10 ~]# cat /etc/yum.repos.d/nginx.repo 
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0       
enabled=1
[root@4-Proxy1-10 ~]#  yum install nginx -y
#3、查看是否有四层模块
[root@4-Proxy1-10 ~]# nginx -V
configure arguments: --prefix=/etc/nginx --sbin-path=/usr/sbin/nginx --modules-path=/usr/lib64/nginx/modules --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.lock --http-client-body-temp-path=/var/cache/nginx/client_temp --http-proxy-temp-path=/var/cache/nginx/proxy_temp --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp --http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp --http-scgi-temp-path=/var/cache/nginx/scgi_temp --user=nginx --group=nginx --with-compat --with-file-aio --with-threads --with-http_addition_module --with-http_auth_request_module --with-http_dav_module --with-http_flv_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_mp4_module --with-http_random_index_module --with-http_realip_module --with-http_secure_link_module --with-http_slice_module --with-http_ssl_module --with-http_stub_status_module --with-http_sub_module --with-http_v2_module --with-mail --with-mail_ssl_module
`--with-stream`(这个四层负载模块是nginx>=1.9.0才有) --with-stream_realip_module --with-stream_ssl_module --with-stream_ssl_preread_module --with-cc-opt='-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -m64 -mtune=generic -fPIC' --with-ld-opt='-Wl,-z,relro -Wl,-z,now -pie'

#4、启动nginx
[root@4-Proxy1-10 conf.d]# nginx -t
[root@4-Proxy1-10 conf.d]# systemctl start nginx
[root@4-Proxy1-10 conf.d]# systemctl enable nginx

(3) Nginx四层负载均衡实战

① 需求

1.通过访问负载均衡的5555端口，实际是后端的Nginx-5的22端口在提供服务。
 2.通过访问负载均衡的6666端口，实际是后端的mysql-7的3306端口在提供服务。

② 4-Proxy1-10配置

#如果监听了80端口，要删除/etc/nginx/conf.d/default.conf
[root@4-Proxy1-10 ~]# rm -f /etc/nginx/conf.d/default.conf   #删除http的80端口
#配置四层负载均衡（这里采用文件方式，后面直接用include就行）
[root@4-Proxy1-10 ~]# mkdir -p /etc/nginx/conf.c
[root@4-Proxy1-10 ~]# vim /etc/nginx/nginx.conf
# 在events层下面，http层上面配置include
include  /etc/nginx/conf.c/*.conf;

# 编写四层代理配置
[root@4-Proxy1-10 ~]# cd /etc/nginx/conf.c/
[root@4-Proxy1-10 conf.c]# cat stream.conf 
stream {
    #1.定义虚拟资源池
    upstream ssh {
        server 192.168.2.5:22;
    }

    upstream mysql {
        server 192.168.2.7:3306;
    }
    #2.调用虚拟资源池
    server {
        listen 5555;
        proxy_connect_timeout 1s;
        proxy_timeout 300s;
        proxy_pass ssh;
    }
    server {
        listen 6666;
        proxy_connect_timeout 1s;
        proxy_timeout 300s;
        proxy_pass mysql;
    }
}
[root@4-Proxy1-10 conf.c]# systemctl restart nginx
#1.打开访问 Nginx-5、Nginx-6、7-Proxy1-8、7-Proxy2-9和4-Proxy1-10的访问日志
#2.可以用ssh 192.168.2.10：5555 登入到Nginx-5 
#3.可以用navicat 登入192.168.2.10：6666登入到mysql-7上 
#4.命令tail -f /var/log/nginx/access.log查看到是分摊到7-Proxy1-8、7-Proxy2-9上
#5.可以正常访问wordpress、wecenter、eduSoho
#6.4-Proxy1-10上并没有产生日志

(4) nginx四层负载均衡记录日志

① 四层负载均衡日志必须配置在stream模块

[root@4-Proxy1-10 ~]# cat /etc/nginx/conf.c/tcp_proxy.conf
stream {

#定义日志的格式
log_format  proxy '$remote_addr $remote_port - [$time_local] $status $protocol '
                  '"$upstream_addr" "$upstream_bytes_sent" "$upstream_connect_time"' ;

    #调用日志，使用proxy格式
    access_log /var/log/nginx/tcp_proxy.log proxy;

......其他配置省略......

#查看日志 tail -f /var/log/nginx/tcp_proxy.log 可以看见日志
}