• K8s如何从私有Harbor中拉取镜像并完成部署

    本章主要将如何将已经提交到Harbor仓库的镜像在k8s体系内完成部署工作。

    简单扫盲

    粗略介绍下k8s的内容体系，便于理解后面配置文件。

    k8s体系简介

    k8s整体可以分几个部分：namespace，configMap，deployment，pod，service，ingress。

    namespace

    命名空间，其实和java中namespace类似，主要是为了对k8s的对象进行区域划分以及资源隔离。

    你可以认为每个namespace下的对象是不能够共享的。并且你可以针对namespace进行配置，设置这个namespace下可以使用的服务器资源的配额。例如cpu核心，存储，网络等等。

    这里不再详述。

    namespace简写ns

    configMap

    k8s的配置对象，可以绑定到k8s对象上面，让对象能够读取configMap中的配置信息，主要是key：value信息。当然是否要使用，需要自行判断。同时需要程序端配合。不然你运营配置了，程序没加载，依然没用。

    deployment&pod

    这俩需要一块说明一下。

    K8s中的pod，你可以理解为docker中的容器。k8s中创建一个pod，就等于docker run创建了一个容器。也就是说pod是镜像的实例，是实际运行jar包或者nginx的对象。

    pod实际上是可以单独创建的。

    kubectl create pod命令就可以创建一个pod容器。当然用kubectl apply一个yaml文件效果一样。

    但是单独创建的pod有一些问题。

    1. pod作为容器，是会动态分配ip的，动态分配的ip不可控。

    2. pod被删除后，或者pod由于程序问题死掉了，是不会自动恢复的。也就是说，你直接创建的pod，如果执行了kubectl delete pod，那么pod就真的被删除掉了。不会享受到k8s的高可用。

    这么玩费劲搞k8s有啥用？所以我们一般不会直接创建pod，而是将创建pod和pod管理这个事情托管给deployment。

    deployment可以理解为一组管理策略。我们创建一个deployment，然后在里面指定我要启用几个pod，pod用什么镜像，需要配置什么env环境变量等等信息。

    然后通过kubectl create deployment或者kubectl apply -f deployment.yaml创建deployment对象。那么k8s会根据deployment对象的配置，自行创建需要的pod。并且pod和deployement存在关联关系。

    例如我deploy中定义要创建2个pod，那么系统中就会自动创建两个pod。这时你如果删除一个，那么系统会自动再重新创建一个pod，补足2个pod配置要求。同样的，pod死掉，系统也会自动补足2个，确保k8s平台有2个活着的pod。这是k8s高可用的一个前提。

    deployment简写deploy

    service

    deploy虽然可以解决pod管理问题，但是依然无法解决pod动态ip的问题（这是由于框架需要决定的，毕竟pod随时可以扩展，并且随时会被替换，不适合制定固定ip）。于是我系统如何被请求到就出现一个问题。

    k8s设计了service解决该问题。

    service一旦被创建，那么ip变会被固定下来，并且service不是一容器形式存在，所以也不牵扯死掉重新创建等问题。所以k8s中，通过service将pod中的服务提供出来。

    service一般是绑定到deploy上面，通过配置targetPort将deploy下pod的服务端口开放出来。并且service还具备负载均衡能力。如果deploy下配置了多个pod，那么service会根据负载均衡策略对pod进行轮训转发。这样就解决了pod动态ip，并且deploy下的pod可能会随时被替换的问题。

    serivce简写svc

    ingress

    k8s的一个路由组件。

    k8s提供的网络访问方式有3中，ClusterIP，NodePort，LoadBalancer。

    ClusterIP方式，只能够在k8s集群内部服务器间通讯。

    NodePort方式，可以将node上的pod或者service的业务端口映射到主节点上，从而可以通过主节点ip：映射端口方式，对集群外终端提供请求服务。

    LoadBanlancer需要配合前端负载均衡服务或者设备使用，这里不提。

    ClusterIP，显然无法满足外部请求需要；NodePort，小规模K8s的话可以使用，他最多可以使用1w左右节点，默认从3w以后开始分配。

    为了满足大规模k8s集群应用，ingress诞生了。

    ingress有几种，一般多用nginx实现版本。

    他会在k8s集群中的每个worknode上创建一个示例pod，对改节点上的service和pod进行访问代理。

    同时他可以定义一个全局的ingress服务，对每个node上的ingresscontroller进行管理。

    同时，ingress可以提供域名和路由的配置，这样就是先了外部请求进入ingress，ingress根据配置进行匹配，匹配到响应服务后，转发到对应节点的对应服务上，从而完成服务对外提供。就解决了端口问题。

    例如：

    www.abc.cn->svc1

    www.def.cn->svc2

    k8s部署

    k8s部署说白了就是从harbor拉取镜像，创建容器，然后配置网络，实现外部对容器的请求。

    整体用到的内容，就是上面扫盲的内容。

    具体实现的办法，是通过yaml，完成上面内容的配置，然后通过kubectl apply -f xxx.yaml完成相关对象的创建。

    后端部署模板

    模板代码

    1. apiVersion: v1
    2. kind: Namespace
    3. metadata:
    4.   name: mysql
    5. #对应部署的命名空间
    6. ---
    7. apiVersion: v1
    8. kind: ConfigMap
    9. #类型为configmap
    10. metadata:
    11.   name: uaa
    12.   namespace: mysql
    13.  #对应部署的命名空间 
    14. data:
    15.   application.yml: ''
    16.  
    17. ---
    18. apiVersion: apps/v1
    19. kind: Deployment
    20. #类型为deployment,deployment主要管理无状态应用
    21. metadata:
    22.   labels:
    23.     app: uaa  
    24.   name: uaa  #应用名称
    25.   namespace: mysql  #所属命名空间
    26. spec:
    27.   replicas: 1  # 配置创建pod实例数量
    28.   selector:  # k8s中对象的关联关系就是通过对对象打label和selector实现的绑定 所有符合selector的对象都是改对象的关联对象
    29.     matchLabels: &id001  # yaml中锚点，类似变量
    30.       app: uaa
    31.       app-pod: uaa
    32.   template:
    33.     metadata:
    34.       annotations:
    35.         serialNumber: '20220523094344'
    36.       labels: *id001  # 引用上面定义的锚点 变量的值
    37.       namespace: mysql
    38.     spec:
    39.       containers:
    40.       - args: []
    41.         env:
    42.         - name: RUNTIME
    43.           value: docker
    44.         - name: RUNTIME_ENV
    45.           value: prd
    46.         - name: RUNTIME_MYSQL_PASSWORD    #数据库密码
    47.           value: '123456'
    48.         - name: spring.redis.host         #redis ip 
    49.           value: 192.168.216.219
    50.         image: shandong.harbor.cn:55443/test/uaa:1.3.39    #镜像版本
    51.         imagePullPolicy: Always             #镜像拉取策略
    52.         name: test-uaa
    53.         ports:
    54.         - containerPort: 8080
    55.         readinessProbe:
    56.           initialDelaySeconds: 5
    57.           periodSeconds: 3
    58.           tcpSocket:
    59.             port: 8080
    60.         resources:
    61.           limits:               #资源限制
    62.             cpu: '8'
    63.             memory: 2G
    64.           requests:
    65.             cpu: 100m
    66.             memory: 500m
    67.         volumeMounts:
    68.         - mountPath: /var/log/andevopslog       
    69.           name: logpath
    70.       imagePullSecrets:     
    71.       - name: images-registry      #定义镜像拉取的密钥 需要按照harbor账号密码进行配置
    72.       initContainers:             #初始化容器，初始化如果要执行sql，打镜像的时候写在初始化容器里，先于主容器执行
    73.       - command:
    74.         - sh
    75.         - -c
    76.         - mysql -h$RUNTIME_MYSQL_HOST -P$RUNTIME_MYSQL_PORT -u$RUNTIME_MYSQL_USER
    77.           -p$RUNTIME_MYSQL_PASSWORD < /opt/app/upgrade_sql/update.sql
    78.         env:                     #环境变量同上
    79.         - name: RUNTIME_MYSQL_PASSWORD
    80.           value: '123456'
    81.         - name: SQL_EXECUTE_MODE
    82.           value: upgrade
    83.         - name: server.port
    84.           value: '8080'
    85.         name: init-uaa-sql-execute-job
    86.       restartPolicy: Always
    87.       volumes:
    88.       - emptyDir: {}
    89.         name: logpath
    90.  
    91. ---
    92. apiVersion: v1
    93. kind: Service                #定义服务名，k8s内部访问的端口
    94. metadata:
    95.   labels: &id001
    96.     app-pod: uaa
    97.   name: uaa
    98.   namespace: mysql
    99. spec:
    100.   ports:
    101.   - name: http-80
    102.     port: 80             #k8s集群内部服务之间访问service的入口
    103.     targetPort: 8080     #容器的端口
    104.   selector: *id001 
    105.  
    106. ---
    107. apiVersion: extensions/v1beta1
    108. kind: Ingress           #定义对外暴露使用的方式为ingress
    109. metadata:
    110.   annotations:
    111.     nginx.ingress.kubernetes.io/rewrite-target: /$2
    112.   labels:
    113.     app: uaa
    114.   name: uaa
    115.   namespace: mysql
    116. spec:
    117.   rules:
    118.   - host: demo.test.com.cn       #对外暴露使用的域名
    119.     http:
    120.       paths:
    121.       - backend:
    122.           serviceName: uaa          #对外暴露指向内部的服务名service
    123.           servicePort: 80
    124.         path: /test/uaa(/|$)(.*) #路由地址
    125.  
    126. ---

    上面模板包含了一个后台应用上线需要配置的所有相关对象。

    这里要说明的是，env下配置的环境变量，需要和研发配合才能生效，否则就算容器配置了该变量，也不一定起作用，后面会单独讲解。

    使用的时候，根据需要，修改namespace，各个对象的name，镜像信息，env信息，端口，ingress的域名和路由即可。

    前端部署模板

    模板代码

    1. apiVersion: v1
    2. kind: Namespace
    3. metadata:
    4.   name: mysql      #定义部署的命名空间
    5.  
    6. ---
    7. apiVersion: v1
    8. kind: ConfigMap  #定义类型为configmap,configmap主要是一些配置，下发是nginx的配置
    9. metadata:
    10.   name: coreweb     
    11.   namespace: mysql
    12. data:
    13.   nginx.conf: |
    14.     #user  nobody;
    15.     worker_processes  1;
    16.  
    17.  
    18.     #error_log  logs/error.log;
    19.     #error_log  logs/error.log  notice;
    20.     #error_log  logs/error.log  info;
    21.  
    22.     #pid        logs/nginx.pid;
    23.  
    24.     events {
    25.         worker_connections  1024;
    26.     }
    27.  
    28.  
    29.     http {
    30.         include       mime.types;
    31.         default_type  application/octet-stream;
    32.  
    33.         #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    34.         #                  '$status $body_bytes_sent "$http_referer" '
    35.         #                  '"$http_user_agent" "$http_x_forwarded_for"';
    36.  
    37.         #access_log  logs/access.log  main;
    38.  
    39.         sendfile        on;
    40.         tcp_nopush     on;
    41.         client_max_body_size 500m;
    42.  
    43.         #keepalive_timeout  0;
    44.         keepalive_timeout  200;
    45.  
    46.         gzip  on;
    47.         gzip_vary on;
    48.         gzip_min_length 1k;
    49.         gzip_comp_level 4;
    50.         gzip_types text/plain application/x-javascript text/css application/xml text/javascript application/javascript;
    51.         gzip_disable "MSIE [1-6]\.";
    52.         add_header X-Frame-Options DENY;
    53.  
    54.     server {
    55.             listen       8080;    #端口
    56.             server_name  localhost;
    57.  
    58.             location ^~ / {
    59.             #root html;
    60.                 alias /usr/share/nginx/html/; #这里路径要和dockerfile中copy的前端文件路径一致
    61.                 index index.html index.htm;
    62.                 try_files $uri  $uri/  /index.html;
    63.                 client_max_body_size  500m;
    64.             }
    65.             error_page   500 502 503 504  /50x.html;
    66.             location = /50x.html {
    67.                 root   html;
    68.             }
    69.       }
    70.     }
    71.  
    72. ---
    73. apiVersion: apps/v1
    74. kind: Deployment   #类型为deployment,deployment主要管理无状态应用
    75. metadata:
    76.   labels:
    77.     app: coreweb
    78.   name: coreweb
    79.   namespace: mysql
    80. spec:
    81.   replicas: 1
    82.   selector:
    83.     matchLabels: &id001
    84.       app: coreweb
    85.       app-pod: coreweb
    86.   template:
    87.     metadata:
    88.       annotations:
    89.         serialNumber: '20220523124824'
    90.       labels: *id001
    91.       namespace: mysql
    92.     spec:
    93.       containers:      #定义容器内的环境变量，前端不会请求这些变量，可有可无
    94.       - args: []
    95.         env:
    96.         - name: RUNTIME
    97.           value: docker
    98.         - name: RUNTIME_ENV
    99.           value: prd
    100.         image: shandong.harbor.cn:55443/test/coreweb:1.3.229    #镜像版本
    101.         imagePullPolicy: Always    #镜像拉取策略
    102.         name: onepark-coreweb
    103.         ports:
    104.         - containerPort: 8080
    105.         readinessProbe:
    106.           initialDelaySeconds: 5
    107.           periodSeconds: 3
    108.           tcpSocket:
    109.             port: 8080
    110.         resources:
    111.           limits:
    112.             cpu: '8'
    113.             memory: 2G
    114.           requests:
    115.             cpu: 100m
    116.             memory: 500m
    117.         volumeMounts:
    118.         - mountPath: /var/log/andevopslog        #容器日志路径
    119.           name: logpath
    120.         - mountPath: /etc/nginx/nginx.conf         #将configmap挂载进去
    121.           name: config
    122.           subPath: nginx.conf
    123.       imagePullSecrets:
    124.       - name: image-secret    #定义镜像拉取的密钥
    125.       restartPolicy: Always
    126.       volumes:
    127.       - emptyDir: {}   #emptyDir类型的volume在pod分配到node上时被创建，kubernetes会在node上自动分配 一个目录，因此无需指定宿主机node上对应的目录文件。这个目录的初始内容为空，当Pod从node上移除时，emptyDir中的数据会被永久删除。
    128.         name: logpath
    129.       - configMap:
    130.           name: coreweb
    131.         name: config
    132.  
    133. ---
    134. apiVersion: v1
    135. kind: Service  #定义服务名，k8s内部访问的端口
    136. metadata:
    137.   labels: &id001
    138.     app-pod: coreweb       
    139.   name: coreweb
    140.   namespace: mysql
    141. spec:
    142.   ports:
    143.   - name: http-80
    144.     port: 80      #k8s集群内部服务之间访问service的入口
    145.     targetPort: 8080    #容器的端口
    146.   selector: *id001
    147.  
    148. ---
    149. apiVersion: extensions/v1beta1
    150. kind: Ingress   #定义对外暴露使用的方式为ingress
    151. metadata:
    152.   annotations:
    153.     nginx.ingress.kubernetes.io/rewrite-target: /$2
    154.   labels:
    155.     app: coreweb
    156.   name: coreweb
    157.   namespace: mysql
    158. spec:
    159.   rules:
    160.   - host: web.demo.cn   #定义访问的域名
    161.     http:
    162.       paths:
    163.       - backend:
    164.           serviceName: test   #对外暴露指向内部的服务名service
    165.           servicePort: 80
    166.         path: /()(.*)
    167.  
    168. ---

    前端就相对简单了，主要是nginx的配置要对起来。

    下面给一个示例图片

     

    PS：

            首先你要先确保你的k8s环境和网络没问题！！！

  • 相关阅读:
    你知道网关 架构是如何演进？
    学习笔记16--汽车运动控制理论之经典控制理论
    C#中的四种类型转换
    Nuclei（二）进阶——深入理解workflows、Matchers和Extractors
    华为云CDN，为金融行业使用户打造优质网络使用环境
    广电5G正式启航，黄金频段将如何应用引关注
    这份Java面试八股文堪称2022最强，让329人成功进入大厂
    记录一次紧急的版本切换
    校园论坛系统设计
    计算摄影——图像去噪（一）
  • 原文地址：https://blog.csdn.net/lanwilliam/article/details/125906633