【华为云技术分享】K8s中的external-traffic-policy是什么？

前置知识

nginx 变量 $remote_addr：表示与nginx 直接相连的源ip 地址，但是可以被 realip 模块 重写。
nginx 变量 $proxy_add_x_forwarded_for：自动将$ remote_addr 追加到传入的 X-Forwarded-For。
http 协议 x-forwarded-for：以 逗号隔开的 ip 列表 ，每经过一层代理，在后面 追加一个ip
nginx 模块 realip：用于 从header头中 解析用户真实 ip，并写入 $remote_addr 变量。默认从x-real-ip解析
1
2
3
4

remote_addr

Remote Address 无法伪造

因为建立 TCP 连接需要三次握手，如果伪造了源 IP，无法建立 TCP 连接，更不会有后面的 HTTP 请求。
1
2
3

代表客户端的IP，但它的值不是由客户端提供的，而是服务端根据客户端的ip指定的

当你的浏览器访问某个网站时，假设中间没有任何代理，那么网站的web服务器（Nginx，Apache等）就会把remote_addr设为你的机器IP

如果你用了某个代理，那么你的浏览器会先访问这个代理，然后再由这个代理转发到网站，这样web服务器就会把remote_addr设为这台代理机器的IP, 除非代理将你的IP附在请求header中一起转交给web服务器。

XFF

X-Forwarded-For: client, proxy1, proxy2
最开始的是离服务端最远的设备 IP，然后是每一级代理设备的 IP
1
2

HTTP 请求到达服务器之前，经过了三个代理 Proxy1、Proxy2、Proxy3，IP 分别为 IP1、IP2、IP3，用户真实 IP 为 IP0，那么按照 XFF 标准，服务端最终会收到以下信息：

X-Forwarded-For: IP0, IP1, IP2
1

x-real-ip

nginx的realip模块默认是从x-real-ip这个头中取数据。x-forwarded-for是每经过一层代理，在后面追加一个ip。

而x-real-ip的含义应当是：直接与用户连接的那个服务器，即能拿到用户真实ip地址的服务器，写入这个header的值，然后层层透传到后面，中间的服务器不可以更改这个值，这适合于整个可控，信任的网络中。

能否获取真实ip，取决于下游服务器的配置
1

前端与后端服务之间存在很多中间节点，如slb，nginx，kong，ingress，这四个东西本质都是nginx， 只有最边缘节点才能拿到用户真实ip，这就需要边缘节点通过某种方式传递到后面

原理

获取ip原理

在JSP里，获取客户端的IP地址的方法是：request.getRemoteAddr（）。但是在通过了Apache，Squid等反向代理软件就不能获取到客户端的真实IP地址了。

如果使用了反向代理软件，将http://192.168.1.110：2046/ 的URL反向代理为 http://www.javapeixun.com.cn / 的URL时

用request.getRemoteAddr（）方法获取的IP地址是：127.0.0.1　或　192.168.1.110，而并不是客户端的真实IP。

经过代理以后，由于在客户端和服务之间增加了中间层，因此服务器无法直接拿到客户端的IP。但是在转发请求的HTTP头信息中，增加了X－FORWARDED－FOR信息。用以跟踪原有的客户端IP地址和原来客户端请求的服务器地址。

当我们访问http://www.javapeixun.com.cn /index.jsp/ 时，其实并不是我们浏览器真正访问到了服务器上的index.jsp文件，而是先由代理服务器去访问http://192.168.1.110：2046/index.jsp ，代理服务器再将访问到的结果返回给我们的浏览器

因为是代理服务器去访问index.jsp的，所以index.jsp中通过request.getRemoteAddr（）的方法获取的IP实际上是代理服务器的地址，并不是客户端的IP地址

Squid 默认 forwarded_for 项默认是为on
设置  forwarded_for 为 off 　则：X-Forwarded-For： unknown
1
2

public static String getIpAddress(HttpServletRequest request) {
     String ip = null;

     //X-Forwarded-For：Squid 服务代理
     String ipAddresses = request.getHeader("X-Forwarded-For");
     String unknown = "unknown";
     if (ipAddresses == null || ipAddresses.length() == 0 || unknown.equalsIgnoreCase(ipAddresses)) {
         //Proxy-Client-IP：apache 服务代理
         ipAddresses = request.getHeader("Proxy-Client-IP");
     }

     if (ipAddresses == null || ipAddresses.length() == 0 || unknown.equalsIgnoreCase(ipAddresses)) {
         //WL-Proxy-Client-IP：weblogic 服务代理
         ipAddresses = request.getHeader("WL-Proxy-Client-IP");
     }

     if (ipAddresses == null || ipAddresses.length() == 0 || unknown.equalsIgnoreCase(ipAddresses)) {
         //HTTP_CLIENT_IP：有些代理服务器
         ipAddresses = request.getHeader("HTTP_CLIENT_IP");
     }

     if (ipAddresses == null || ipAddresses.length() == 0 || unknown.equalsIgnoreCase(ipAddresses)) {
         //X-Real-IP：nginx服务代理
         ipAddresses = request.getHeader("X-Real-IP");
     }

     if (ipAddresses == null || ipAddresses.length() == 0 || unknown.equalsIgnoreCase(ipAddresses)) {
         ipAddresses = request.getRemoteAddr();
         if ("127.0.0.1".equals(ipAddresses) || "0:0:0:0:0:0:0:1".equals(ipAddresses)) {
             //根据网卡取本机配置的IP
             InetAddress inet = null;
             try {
                 inet = InetAddress.getLocalHost();
             } catch (UnknownHostException e) {
                 e.printStackTrace();
             }
             ipAddresses = inet.getHostAddress();
         }
     }

     //有些网络通过多层代理，那么获取到的ip就会有多个，一般都是通过逗号（,）分割开来，并且第一个ip为客户端的真实IP
     if (ipAddresses != null && ipAddresses.length() != 0) {
         ip = ipAddresses.split(",")[0];
     }

     return ip;
 }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

K8s中的external-traffic-policy

外部流量策略
1

k8s的Service对象（申明一条访问通道）中，有一个“externalTrafficPolicy”字段可以设置。有2个值可以设置：Cluster或者Local。

Cluster表示：流量可以转发到其他节点上的Pod。

Local表示：流量只发给本机的Pod。
1
2
3

存在这2种模式的原因就是

当前节点的 Kube-节点 在转发报文的时候，会不会保留 原始访问者 的 IP
1
2
3

Cluster

默认模式，Kube-proxy 不管容器实例在哪，公平转发。

Kube-proxy 转发时会替换掉报文的源IP。即：容器收的报文，源IP地址，已经被替换为上一个转发节点的了。
1
2
3

原因是Kube-proxy在做转发的时候，会做一次SNAT (source network address translation)，所以源IP变成了节点1的IP地址

这种模式好处是负载均衡会比较好，因为无论容器实例怎么分布在多个节点上，它都会转发过去。当然，由于多了一次转发，性能会损失一丢丢

Local

只转发给本机的容器，绝不跨节点转发。

Kube-proxy 转发时会 保留源IP 。即：容器收到的报文，看到 源IP地址 还是用户的 
1
2
3

缺点是负载均衡可能不是很好，因为一旦容器实例分布在多个节点上，它只转发给本机，不跨节点转发流量。当然，少了一次转发，性能会相对好一丢丢

更改 k8s service配置

前端服务 的 service.yml
---
apiVersion: v1
kind: Service
spec:
  externalTrafficPolicy: Local
1
2
3
4
5
6