stream {
    upstream my_servers {
        least_conn;  # 负载均衡算法，后面详细介绍
        # 5s内出现3次错误，该服务器将被熔断5s
        server <IP_SERVER_1>:3306 max_fails=3 fail_timeout=5s;
        server <IP_SERVER_2>:3306 max_fails=3 fail_timeout=5s;
        server <IP_SERVER_3>:3306 max_fails=3 fail_timeout=5s;
    }
    server {
        listen 3306;
        proxy_connect_timeout 5s;  # 与被代理服务器建立连接的超时时间为5s
        proxy_timeout 10s;   # 获取被代理服务器的响应最大超时时间为10s
        proxy_next_upstream on;  # 当被代理的服务器返回错误或超时时，将未返回响应的客户端连接请求传递给upstream中的下一个服务器
        proxy_next_upstream_tries 3;   # 转发尝试请求最多3次
        proxy_next_upstream_timeout 10s;    # 总尝试超时时间为10s
        proxy_socket_keepalive on;  # 开启SO_KEEPALIVE选项进行心跳检测
 
        proxy_pass my_servers;
    }
}


# 注意：如果你配置 steam 模块无效，请检查一下你使用的版本是否支持 stream，如果未内置该模块，你需要在编译的时候指定参数 --with-stream 进行编译使其支持stream代理。
 
# 查看nginx安装了哪些模块
nginx -V  # 注意用的是大写V，小写的v是查看nginx版本
# 或者更方便的命令
$ 2>&1 nginx -V | tr ' '  '\n'|grep stream
--with-stream
--with-stream_realip_module
--with-stream_ssl_module
--with-stream_ssl_preread_module

stream {
    log_format  proxy1 '$remote_addr $remote_port - [$time_local] $status $protocol '
                       '"$upstream_addr" "$upstream_bytes_sent" "$upstream_connect_time"';   # 定义日志格式件
    access_log /var/log/nginx/proxy1.log proxy1;  # 定义日志文件路径，并引用日志格式
    upstream my_servers {
        server 192.168.71.12:9090 max_fails=3 fail_timeout=5s;
        server 192.168.71.13:9090 max_fails=3 fail_timeout=5s;
    }
    server {
        listen 80;
        proxy_pass my_servers;
    }
}


# 上述日志格式各字段含义
$remote_addr：客户端IP地址。
$remote_port：客户端端口。
$time_local：请求时间。
$status：连接状态（如成功、失败）。
$protocol：使用的协议（TCP/UDP）。
$upstream_addr：后端服务器的地址。
$upstream_bytes_sent：发送到后端服务器的字节数。
$upstream_connect_time：与后端服务器建立连接的时间。


# 注意：Nginx 的流模块在处理 TCP 流量时，并不会在每个请求都写入一条日志。相反，它在 TCP 连接结束后（也就是说，当连接关闭时）才会记录一条日志。

http {
    ……
    upstream testserver {   
      ip_hash;   # 负载均衡算法，后面详细介绍
      server 192.168.1.5:8080;
      server 192.168.1.6:8080;
      ……
    }
 
    server {
        ……
        location  / {
           ……     
           proxy_pass  http://testserver;
        } 
    }
}

upstream backend {
    server backend1.example.com;
    server backend2.example.com;
    server backend3.example.com;
}

upstream backend {
    server backend1.example.com weight=5;
    server backend2.example.com weight=3;
    server backend3.example.com weight=2;
}

upstream backend {
    ip_hash;
    server backend1.example.com;
    server backend2.example.com;
    server backend3.example.com;
}

upstream backend {
    least_conn;
    server backend1.example.com;
    server backend2.example.com;
    server backend3.example.com;
}

upstream backend {
    least_conn;
    server backend1.example.com weight=5;
    server backend2.example.com weight=3;
    server backend3.example.com weight=2;
}

upstream backend {
    fair;
    server backend1.example.com;
    server backend2.example.com;
    server backend3.example.com;
}

upstream backend {
    hash $request_uri consistent;
    server backend1.example.com;
    server backend2.example.com;
    server backend3.example.com;
}

upstream backend {
    random;
    server backend1.example.com weight=5;
    server backend2.example.com weight=3;
    server backend3.example.com weight=2;
}

http {
upstream webserver {
  server 192.168.71.14:8080;
  server 192.168.71.15:8080;
  server 192.168.71.16:8080;
}
server {
    listen       9090;
    location / {
       proxy_pass  http://webserver;
 
       # 只加上下面这一段即可
       proxy_set_header X-Real-IP $remote_addr;
       proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
       proxy_set_header Host $http_host;
       proxy_set_header X-Forwarded-Proto $scheme;
 
    }
}
}


# 解释：
# X-Forwarded-For 头字段，它是一个被逐级代理服务器添加的、包含了所有中间 IP 的顺序列表，列表的最左侧是原始客户端的 IP。如果请求没有经过任何代理，这个变量为空。如果经过多级代理，这个变量会依次添加代理服务器的 IP，因此要获取真实的客户端 IP，应取这个列表的第一个 IP。
# HTTP 的 X-Real-IP 头字段，它被设计为单个 IP 地址，代表原始客户端的 IP。但在多级代理链中，如果每一级代理都覆盖 X-Real-IP 为自身的 $remote_addr，最终后端收到的 X-Real-IP 会是最后一层代理的 IP，而非原始客户端的 IP。
# Host 字段，将客户端原始请求的 Host 头原样传递给后端服务器。
# X-Forwarded-Proto 字段，告知后端服务器客户端与 Nginx 之间的连接协议（HTTP 或 HTTPS）。

# $remote_addr 获取的还是负载均衡的ip地址，我们默认增加了"$http_x_forwarded_for" "$http_x_real_ip"两个字段，这两个都可以拿到客户端的真实ip
http { 
log_format  main1 '$remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for" "$http_x_real_ip"' ;
}
server {
access_log /var/log/nginx/access.log main1;
...
}


# 获得客户端IP的字段
# $http代表从http请求头里取
$http_x_forwarded_for  # 获取X-Forwarded-For的值
$http_x_real_ip        # 获取X-Real-IP的值

stream {
upstream lb_servers {
    server 192.168.71.12:9090 max_fails=3 fail_timeout=5s;
    server 192.168.71.13:9090 max_fails=3 fail_timeout=5s;
}
server {
    listen 80;
    proxy_pass lb_servers;
    proxy_protocol on; # 新增这一条：代表开启proxy protocol 协议
}
}

http {
    upstream web_app_servers {
        server 192.168.71.112:80 weight=1;
        server 192.168.71.113:80 weight=1;
    }
    server {
        listen 80 proxy_protocol;   # 因为上游的四层开启了proxy协议，所以此处需要配合启用proxy_protocol的监听
        set_real_ip_from 负载均衡IP; 
        real_ip_header proxy_protocol; # 将proxy_protocol获取的IP替换原$remote_addr值
 
        location / {
            proxy_pass http://web_app_servers;
   
            # 增加下面一段
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header Host $http_host;
            proxy_set_header X-Forwarded-Proto $scheme;
        }
    }
} 

global
    log 127.0.0.1 local0 notice
    maxconn 2000
    user haproxy
    group haproxy

defaults
    log     global
    mode    tcp
    option  tcplog
    option  dontlognull
    timeout connect 5000
    timeout client 50000
    timeout server 50000

frontend ft web
    bind *: 80
    default backend bk web

backend bk web
    balance roundrobin
    server webl 192.168.1.1: 80 check 
    server web2 192.168.1.2: 80 check
    
    
    
    
# mode tcp 表示这是一个四层 TCP 负载均衡
# frontend ft_web 定义了监听的端口
# backend bk_web 定义了后端服务器列表，每个 server 行定义一个后端服务器，check 选项表示对服务器进行健康检查

global
    log 127.0.0.1 local0 notice
    maxconn 2000
    user haproxy
    group haproxy

defaults
    log     global
    mode    http
    option  httplog
    option  dontlognull
    timeout connect 5000
    timeout client 50000
    timeout server 50000

frontend ft web
    bind *: 80
    acl xxx url reg -i \.html$
    acl xxx path_beg -i /static /images /javascript /stylesheets
    acl xxx path_end -i .jpg .gif .png .css .js
    use backend static if xxx
    
    default_backend bk_web
    
backend bk_web
    balance roundrobin
    mode http

    # 添加http层面的健康检查,默认只会做 tcp 链接层面的健康检查
    option httpchk HEAD / HTTP/1.1\r\nHost: localhost
    server web1 192.168.1.1: 80 check
    server web2 192.168.1.2: 80 check
    
    
    
    
# mode http：用于指示 HAProxy 在处理请求时要操作到应用层（也就是 HTTP 层面）。这使得可以对 HTTP 头部、URL 、Cookie 等进行处理和使用。
# option httplog：这设置 HAProxy 生成的日志包含 HTTP 信息，如请求的方法、URI 等。
# option forwardfor：这用于插入 X-Forwarded-For 头部信息，这是一个 HTTP 头部信息，用来记录原始客户端的 IP 地址。
# http-request set-header and http-request add-header：这用于插入或修改 HTTP 请求头信息。



 
# option httpchk HEAD / HTTP/1.1\r\nHost:localhost 配置的含义是：
## option httpchk：启用HTTP型的健康检查。 
## HEAD：这个指定了具体使用的HTTP方法是 HEAD。使用HEAD请求可以减少健康检查产生的数据传输量，因为它不获取实际的响应体
## /：这是要访问以检查服务器健康状态的URI路径，这里是根路径
#  HTTP/1.1：这指定了HTTP协议的版本是1.1。 
#  \r\nHost:localhost：这是一个额外的HTTP头部，指定了请求的Host头信息。\r\n 是回车和换行的转义字符，用来分隔HTTP头部。在这里，Host头被设置为 localhost，代表请求将被发送到配置为 localhost 的服务器。 
# 注意： 
## Host字段值不应设置为localhost，应根据后端服务器的配置调整，设置为后端服务的域名
## 如果请求失败或者超时，那么 HAProxy 会将此服务器标记为不健康， 流量不再会被转发至此服务器，直到下一个正常的健康检查。

global # 全局参数
    log         127.0.0.1 local2 info # 日志服务器
    pidfile     /var/run/haproxy.pid
    maxconn     4000   #最大连接数（优先级低于后续的maxconn设置）
    user        haproxy
    group       haproxy
    daemon             #守护进程方式后台运行
    nbproc 1           #工作进程数量  cpu内核是几就写几
defaults # 用于为其他配置段提供默认参数
    mode                    http  #工作模式是http （tcp 是 4 层,http是 7 层）
    log                     global
    retries                 3   #健康检查。3次连接失败就认为服务器不可用，主要通过后面的check检查
    option                  redispatch  #服务不可用后重定向到其他健康服务器。
    maxconn                 4000  #优先级中
    timeout connect         5000  #ha服务器与后端服务器连接超时时间，单位毫秒ms
    timeout client          50000 #客户端超时
    timeout server          50000 #后端服务器超时
listen stats # haproxy自带的状态监控服务
    mode                   http
    bind                   *:81
    stats                  enable
    stats uri              /haproxy      #使用浏览器访问 http://192.168.71.12:81/haproxy,可以看到服务器状态
    stats auth             egonlin:666   #用户认证
    monitor-uri      /monitoruri
frontend  web # haproxy作为负载均衡的配置
    mode                   http          # 七层
    bind                    *:80         # haproxy作为负载均衡对外暴漏的ip和端口
    option                 httplog       #日志类别 http 日志格式
 
    acl xxx   url_reg   -i  \.html$  #acl相当于nginx的location。url_reg定义自己的正则匹配url，-i忽略大小写，下同
    acl xxx   url_reg   -i  \/$  #针对访问末尾不加任何路径的情况例如http://xx.xx.xx        
    #acl xxx  path_beg  -i /static /images /javascript /stylesheets # path_beg匹配路径开头
    #acl xxx  path_end  -i .jpg .gif .png .css .js  # path_end匹配路径结尾
 
    acl yyy   path_end  -i .css .js  # path_end匹配路径结尾
 
    use_backend static1 if xxx  #如果满足acl xxx规则，则代理给后端服务器组static
    use_backend static2 if yyy #如果满足acl yyy规则，则代理给httpservers组 
    default_backend httpservers  #上述规则都匹配失败后默认的代理的组
 
backend static1
    balance     roundrobin
    server      static1_a 192.168.71.14:8080 check
backend static2
    balance     roundrobin
    server      static2_a 192.168.71.15:8080 check
backend httpservers
    balance     roundrobin
    server  myhttp1 192.168.71.16:8080 maxconn 2000 weight 1  check inter 1s rise 2 fall 2
    #server  myhttp2 192.168.71.17:8080 maxconn 2000 weight 1  check inter 1s rise 2 fall 2
 
# inter表示健康检查的间隔，单位为毫秒 可以用1s等，
# fall代表健康检查失败2回后放弃检查。rise代表连续健康检查成功2此后将认为服务器可用。
# 默认的，haproxy认为服务时永远可用的，除非加上check让haproxy确认服务是否真的可用。

frontend http-in
    bind *:80
    mode http
    # 启用 X-Forwarded-For 并添加客户端 IP
    option forwardfor
    # 默认情况下，HAProxy 会添加 X-Forwarded-For，但也可以手动设置：
    http-request set-header X-Real-IP %[src]
    default_backend web_servers

backend web_servers
    mode http
    balance roundrobin
    server web1 192.168.1.1:80 check
    server web2 192.168.1.2:80 check

location / {
    real_ip_header X-Forwarded-For;
    set_real_ip_from 192.168.1.0/24;  # 信任 HAProxy 的 IP
    # 或者使用 X-Real-IP
    # real_ip_header X-Real-IP;
}

RemoteIPHeader X-Forwarded-For
RemoteIPInternalProxy 192.168.1.0/24

frontend tcp-in
    bind *:3306
    mode tcp
    default_backend mysql_servers

backend mysql_servers
    mode tcp
    balance roundrobin
    server mysql1 192.168.1.3:3306 check send-proxy
    # 或使用 send-proxy-v2（推荐）
    server mysql2 192.168.1.4:3306 check send-proxy-v2

SRC_IP: Client_IP
DST_IP: VIP
DST_MAC: Director_MAC（通过 ARP 解析获得）

SRC_IP: Client_IP（不变）
DST_IP: VIP（不变）
DST_MAC: RealServer_MAC（替换为选中的 Real Server 的 MAC）