k8s nginx ingress 开启缓存（cache）的方法

在k8s集群中，我们都是通过ingress的方法对外暴露访问的。对一些静态的资源，我们可以在nginx ingress侧增加缓存，减小后端服务的压力。

1、需要先找到nginx ingress的configmap配置文件，增加http-snippet

# configmap.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: ingress-nginx-controller
  namespace: default
data:
  http-snippet: "proxy_cache_path /tmp/nginx_cache levels=1:2 keys_zone=static-cache:10m max_size=10g  inactive=60m use_temp_path=off;"
  
$ kubectl apply -f configmap.yml 
configmap/ingress-nginx-controller configured

proxy_cache_path指令的完整语法如下：

Syntax:    proxy_cache_path path [levels=levels] [use_temp_path=on|off] keys_zone=name:size [inactive=time] [max_size=size] [manager_files=number] [manager_sleep=time] [manager_threshold=time] [loader_files=number] [loader_sleep=time] [loader_threshold=time] [purger=on|off] [purger_files=number] [purger_sleep=time] [purger_threshold=time];
 

Nginx对缓存的处理

Nginx针对响应缓存有两个处理动作

• 缓存管理器会定时检查缓存的状态。如果缓存的内容大小达到了指令proxy_cache_path的参数max-size指定的值,则缓存管理器会根据LRU算法删除缓存的内容。 在检查的间隔时间内，总的缓存内容大小可以临时超过设定的大小阈值。
• 缓存加载器只在Nginx启动的时候执行一次，将缓存内容的原信息加载到指定的共享内存区内。一次将所有的缓存内容加载到内存中会耗费大量的资源，并且会影响Nginx启动后几分钟内的性能。为了避免这种问题可以通过在指令proxy_cache_path后添加下面的参数：
  • loader_threshold – 缓存加载器加载缓存内容的最大执行时间（单位是毫秒，默认值是200毫秒）。
  • loader_files – 在缓存加载器加载缓存内容的执行时间间隔内，最多能加载多少个缓存条目，默认100。
  • loader_sleeps – 每两次执行的时间间隔, 单位是毫秒 (默认50毫秒)

例子：

proxy_cache_path /data/nginx/cache keys_zone=one:10m loader_threshold=300 loader_files=200;

levels参数负责设置缓存目录级别。假设cache主目录为/data/nginx/cache。

#如果没有特殊指明此参数值，则默认是放在cache主目录下：

/data/nginx/cache/d7b6e5978e3f042f52e875005925e51b

#当levels=1:2时，表示是两级目录，1和2表示用1位和2位16进制来命名目录名称。在此例中，第一级目录用1位16进制命名，如b；第二级目录用2位16进制命名，如2b。所以此例中一级目录有16个，二级目录有16*16=256个：

/data/nginx/cache/b/2b/d7b6e5978e3f042f52e875005925e51b

总目录数为16*256=4096个。
————————————————

指定缓存条件

默认情况下，Nginx会缓存所有第一次通过HTTP GET 和 HEAD 方法发起的请求。Nginx将请求的完整字符串作为缓存内容的KEY。如果后面的请求和缓存的内容拥有相同的KEY，则Nginx会将缓存的内容发送给客户端。我们也可以在http, server,location块内包含各种指令来控制哪些响应可以被缓存。

可以通过使用指令proxy_cache_key来控制缓存KEY的生成规则：

proxy_cache_key "$host$request_uri$cookie_user";

可以通过指令proxy_cache_min_uses 指定一个请求的响应被缓存前的最小访问次数：

proxy_cache_min_uses 5;

可以通过指令proxy_cache_methods 指定只有哪些HTTP请求类型才能被缓存：

proxy_cache_methods GET HEAD POST;    

限制或旁路缓存

默认情况下响应内容会拥有被缓存起来，除非缓存内容的大小超过了指定的配置大小，超过以后会根据LRU算法进行删除。单我们也可以通过在http,server,location中配置统一的过期时间：

proxy_cache_valid 200 302 10m;
proxy_cache_valid 404      1m;    

上面的配置指定了当后端服务的响应是200，302时，缓存的有效期是10分钟；404 缓存有效期为1分钟。

proxy_cache_valid any 5m;

也可以不区分后端的响应码，此时可以用any来指代。

可以通过指令proxy_cache_bypass指定Nginx使用缓存的条件，如下：

proxy_cache_bypass $cookie_nocache $arg_nocache$arg_comment;    

该指令的每个参数都指定了一个条件，只有请求满足其中的任何一个条件，并且参数的值不是0，则Nginx会把请求转发到后端的服务而不会使用缓存。

可以通过指令proxy_no_cache指定哪些请求不需要Nginx来缓存，配置格式和proxy_cache_bypass 类似：

proxy_no_cache $http_pragma $http_authorization;

2、自定义ingress配置文件，在ingress的注解中增加一下字段：

    nginx.ingress.kubernetes.io/configuration-snippet: |
      proxy_cache static-cache;   #需要跟http-snippet中的keys_zone保持一致。
      proxy_cache_key "$scheme$proxy_host$request_uri";
      proxy_cache_valid 200 302 10m;
      proxy_cache_valid 404 1m;
      add_header X-Cache-Status $upstream_cache_status;
    nginx.ingress.kubernetes.io/proxy-buffering: "on"    #重要，在我的测试中开启这个选项才会命中缓存机制

比如：

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/backend-protocol: HTTPS
    nginx.ingress.kubernetes.io/configuration-snippet: |
      proxy_cache static-cache;
      proxy_cache_key "$scheme$proxy_host$request_uri";
      proxy_cache_valid 200 302 10m;
      proxy_cache_valid 404 1m;
      add_header X-Cache-Status $upstream_cache_status;
    nginx.ingress.kubernetes.io/force-ssl-redirect: "true"
    nginx.ingress.kubernetes.io/proxy-body-size: 4096m
    nginx.ingress.kubernetes.io/proxy-connect-timeout: "60"
    nginx.ingress.kubernetes.io/proxy-read-timeout: "600"
    nginx.ingress.kubernetes.io/proxy-request-buffering: "off"
    nginx.ingress.kubernetes.io/proxy-send-timeout: "600"
    nginx.ingress.kubernetes.io/ssl-redirect: "true"
    nginx.ingress.kubernetes.io/use-regex: "true"
    nginx.ingress.kubernetes.io/proxy-buffering: "on"
  labels:
    app.kubernetes.io/managed-by: Helm
    isExternal: "true"
    release: xxxxx
    zone: xxxxx
  name: example-ingress
  namespace: default
spec:
  rules:
  - host: example.com
    http:
      paths:
      - backend:
          service:
            name: my-service
            port:
              number: 443
        path: /ack/v2/domains/(.+)/namespaces/(.+)/repositories/(.+)/packages/(.+)/versions/(.+)/file_paths/(.+)
        pathType: ImplementationSpecific
  - http:
      paths:
      - backend:
          service:
            name: my-service
            port:
              number: 443
        path: /ack/v2/domains/(.+)/namespaces/(.+)/repositories/(.+)/packages/(.+)/versions/(.+)/file_paths/(.+)
        pathType: ImplementationSpecific
  tls:
  - {}

参考文档：

kubernetes - How to properly configure ingress cache to get it working? - Stack Overflow

ConfigMap - Ingress-Nginx Controller

Annotations - Ingress-Nginx Controller