• k8s（3）

    目录

    一.K8S的三种网络

    flannel的三种模式:

    在 node01 节点上操作：

    calico的 三种模式：

    flannel 与 calico 的区别？

    二.CoreDNS

     在所有 node 节点上操作：

    在 master01 节点上操作：

    ​编辑

    DNS 解析测试：

    一.K8S的三种网络

    节点网络       nodeIP         物理网卡的IP实现节点间的通信
    Pod网络        podIP          Pod与Pod之间可通过Pod的IP相互通信
    Service网络    clusterIP      在K8S集群内可通过service资源的clusterIP实现对Pod集群的网络代理转发
    VLAN 和 VXLAN 的区别：
    1）作用不同：VLAN主要用作于在交换机上逻辑划分广播域，还可以配合STP生成树协议阻塞路径接口，避免产生环路和广播风暴
                 VXLAN可以将数据帧封装成UDP报文，再通过网络层传输给其它网络，从而实现虚拟大二层网络的通信
    2）VXLAN支持更多的二层网络：VXLAN最多可支持 2^24 个；VLAN最多支持 2^12 个（4096-2）
    3）VXLAN可以防止物理交换机MAC表耗尽：VLAN需要在交换机的MAC表中记录MAC物理地址；VXLAN采用隧道机制，MAC物理地址不需记录在交换机

    flannel的三种模式:


    UDP      出现最早的模式，但是性能最差，基于flanneld应用程序实现数据包的封装/解封装
    VXLAN    flannel的默认模式，也是推荐使用的模式，性能比UDP模式更好，基于内核实现数据帧的封装/解封装，而且配置简单使用方便
    HOST-GW  性能最好的模式，但是配置负载，且不能跨网段

    flannel的UDP模式工作原理:
    1）原始数据包从源主机的Pod容器发出到cni0网桥接口，再由cni0转发到flannel0虚拟接口
    2）flanneld服务进程会监听flannel0接口接收到的数据，flanneld进程会将原始数据包封装到UDP报文里
    3）flanneld进程会根据在etcd中维护的路由表查到目标Pod所在的nodeIP，并在UDP报文外封装nodeIP头部、MAC头部，再通过物理网卡发送到目标node节点
    4）UDP报文通过8285端口送达到目标node节点的flanneld进程进行解封装，再根据本地路由规则通过flannel0接口发送到cni0网桥，再由cni0发送到目标Pod容器

    在 node01 节点上操作：

    上传 cni-plugins-linux-amd64-v0.8.6.tgz 和 flannel.tar 到 /opt 目录中：

    docker load -i flannel-cni-plugin.tar

    docker load -i flannel.tar

    tar xf cni-plugins-linux-amd64-v1.3.0.tgz -C /opt/cni/bin

    复制kube-flannel.yml 文件到 /opt/k8s 目录中，部署 CNI 网络：

    scp kube-flannel.yml 192.168.233.10:/opt/k8s/

    查看master：

    kubectl apply -f kube-flannel.yml 

    kubectl get pods -n kube-flannel

    kubectl get pods -n kube-flannel -owide

    看下node节点ip：

    查看master文件使用的网络模式：

    1.       apiVersion: v1
    2. kind: Namespace
    3. metadata:
    4.   labels:
    5.     k8s-app: flannel
    6.     pod-security.kubernetes.io/enforce: privileged
    7.   name: kube-flannel
    8. ---
    9. apiVersion: v1
    10. kind: ServiceAccount
    11. metadata:
    12.   labels:
    13.     k8s-app: flannel
    14.   name: flannel
    15.   namespace: kube-flannel
    16. ---
    17. apiVersion: rbac.authorization.k8s.io/v1
    18. kind: ClusterRole
    19. metadata:
    20.   labels:
    21.     k8s-app: flannel
    22.   name: flannel
    23. rules:
    24. - apiGroups:
    25.   - ""
    26.   resources:
    27.   - pods
    28.   verbs:
    29.   - get
    30. - apiGroups:
    31.   - ""
    32.   resources:
    33.   - nodes
    34.   verbs:
    35.   - get
    36.   - list
    37.   - watch
    38. - apiGroups:
    39.   - ""
    40.   resources:
    41.   - nodes/status
    42.   verbs:
    43.   - patch
    44. - apiGroups:
    45.   - networking.k8s.io
    46.   resources:
    47.   - clustercidrs
    48.   verbs:
    49.   - list
    50.   - watch
    51. ---
    52. apiVersion: rbac.authorization.k8s.io/v1
    53. kind: ClusterRoleBinding
    54. metadata:
    55.   labels:
    56.     k8s-app: flannel
    57.   name: flannel
    58. roleRef:
    59. apiGroup: rbac.authorization.k8s.io
    60.   kind: ClusterRole
    61.   name: flannel
    62. subjects:
    63. - kind: ServiceAccount
    64.   name: flannel
    65.   namespace: kube-flannel
    66. ---
    67. apiVersion: v1
    68. data:
    69.   cni-conf.json: |
    70.     {
    71.       "name": "cbr0",
    72.       "cniVersion": "0.3.1",
    73.          "plugins": [
    74.         {
    75.           "type": "flannel",
    76.           "delegate": {
    77.             "hairpinMode": true,
    78.             "isDefaultGateway": true
    79.           }
    80.         },
    81.         {
    82.           "type": "portmap",
    83.           "capabilities": {
    84.             "portMappings": true
    85.           }
    86.         }
    87.       ]
    88.     }
    89.   net-conf.json: |
    90.     {
    91.       "Network": "10.244.0.0/16",
    92.       "Backend": {
    93.         "Type": "vxlan"
    94.       }
    95.     }
    96. kind: ConfigMap
    97. metadata:
    98.   labels:
    99.     app: flannel
    100.     k8s-app: flannel
    101.     tier: node
    102.   name: kube-flannel-cfg
    103.   namespace: kube-flannel
    104. ---
    105. apiVersion: apps/v1
    106. kind: DaemonSet
    107. metadata:
    108.   labels:
    109.     app: flannel
    110.     k8s-app: flannel
    111.     tier: node
    112.   name: kube-flannel-ds
    113.   namespace: kube-flannel
    114. spec:
    115.   selector:
    116.     matchLabels:
    117.       app: flannel
    118.       k8s-app: flannel
    119.   template:
    120.     metadata:
    121.       labels:
    122.         app: flannel
    123.         k8s-app: flannel
    124.         tier: node
    125.     spec:
    126.       affinity:
    127.         nodeAffinity:
    128.           requiredDuringSchedulingIgnoredDuringExecution:
    129.             nodeSelectorTerms:
    130.             - matchExpressions:
    131.               - key: kubernetes.io/os
    132.                 operator: In
    133.                 values:
    134.                 - linux
    135.       containers:
    136.       - args:
    137.         - --ip-masq
    138.         - --kube-subnet-mgr
    139.         command:
    140.         - /opt/bin/flanneld
    141.         env:
    142.         - name: POD_NAME
    143.           valueFrom:
    144.             fieldRef:
    145.               fieldPath: metadata.name
    146.         - name: POD_NAMESPACE
    147.           valueFrom:
    148.             fieldRef:
    149.               fieldPath: metadata.namespace
    150.         - name: EVENT_QUEUE_DEPTH
    151.           value: "5000"
    152.         image: docker.io/flannel/flannel:v0.21.5
    153.         name: kube-flannel
    154.         resources:
    155.           requests:
    156.             cpu: 100m
    157.             memory: 50Mi
    158.         securityContext:
    159.           capabilities:
    160.             add:
    161.             - NET_ADMIN
    162.             - NET_RAW
    163.           privileged: false
    164.         volumeMounts:
    165.         - mountPath: /run/flannel
    166.           name: run
    167.         - mountPath: /etc/kube-flannel/
    168.           name: flannel-cfg
    169.         - mountPath: /run/xtables.lock
    170.           name: xtables-lock
    171.       hostNetwork: true
    172.       initContainers:
    173.       - args:
    174.         - -f
    175.         - /flannel
    176.         - /opt/cni/bin/flannel
    177.         command:
    178.         - cp
    179.         image: docker.io/flannel/flannel-cni-plugin:v1.1.2
    180.         name: install-cni-plugin
    181.         volumeMounts:
    182.         - mountPath: /opt/cni/bin
    183.           name: cni-plugin
    184.       - args:
    185.         - -f
    186.         - /etc/kube-flannel/cni-conf.json
    187.         - /etc/cni/net.d/10-flannel.conflist
    188.         command:
    189.         - cp
    190.         image: docker.io/flannel/flannel:v0.21.5
    191.         name: install-cni
    192.         volumeMounts:
    193.         - mountPath: /etc/cni/net.d
    194.           name: cni
    195.         - mountPath: /etc/kube-flannel/
    196.           name: flannel-cfg
    197.       priorityClassName: system-node-critical
    198.       serviceAccountName: flannel
    199.       tolerations:
    200.       - effect: NoSchedule
    201.         operator: Exists
    202.       volumes:
    203.       - hostPath:
    204.           path: /run/flannel
    205.         name: run
    206.       - hostPath:
    207.           path: /opt/cni/bin
    208.         name: cni-plugin
    209.       - hostPath:
    210.           path: /etc/cni/net.d
    211.         name: cni
    212.       - configMap:
    213.           name: kube-flannel-cfg
    214.         name: flannel-cfg
    215.       - hostPath:
    216.           path: /run/xtables.lock
    217.           type: FileOrCreate
    218.         name: xtables-lock


    flannel的VXLAN模式工作原理:

    1）原始数据帧从源主机的Pod容器发出到cni0网桥接口，再由cni0转发到flannel.1虚拟接口
    2）flannel.1接口接收到数据帧后添加VXLAN头部，并在内核将原始数据帧封装到UDP报文里
    3）根据在etcd中维护的路由表查到目标Pod所在的nodeIP，并在UDP报文外封装nodeIP头部、MAC头部，再通过物理网卡发送到目标node节点
    4）UDP报文通过8472端口送达到目标node节点的flannel.1接口并在内核进行解封装，再根据本地路由规则发送到cni0网桥，再由cni0发送到目标Pod容器

    calico的 三种模式：

    calico的IPIP模式工作原理:

    1）原始数据包从源主机的Pod容器发出，通过 veth pair 设备送达到tunl0接口，再被内核的IPIP驱动封装到node节点网络的IP报文里
    2）根据Felix维护的路由规则通过物理网卡发送到目标node节点
    3）IP数据包到达目标node节点的tunl0接口后再通过内核的IPIP驱动解封装得到原始数据包，再根据本地路由规则通过 veth pair 设备送达到目标Pod容器

    calico的BGP模式工作原理（本质就是通过路由规则来实现Pod之间的通信）
    每个Pod容器都有一个 veth pair 设备，一端接入容器，另一个接入宿主机网络空间，并设置一条路由规则。
    这些路由规则都是 Felix 维护配置的，由 BIRD 组件基于 BGP 动态路由协议分发路由信息给其它节点。
    1）原始数据包从源主机的Pod容器发出，通过 veth pair 设备送达到宿主机网络空间
    2）根据Felix维护的路由规则通过物理网卡发送到目标node节点
    3）目标node节点接收到数据包后，会根据本地路由规则通过 veth pair 设备送达到目标Pod容器

    flannel 与 calico 的区别？

    flannel： UDP  VXLAN  HOST-GW
    默认网段：10.244.0.0/16
    通常会采用VXLAN模式，用的是叠加网络、IP隧道方式传输数据，对性能有一定的影响。
    Flannel产品成熟，依赖性较少，易于安装，功能简单，配置方便，利于管理。但是不具备复杂的网络策略配置能力。

    calico： IPIP  BGP  混合模式（CrossSubnet）
    默认网段：192.168.0.0/16
    使用IPIP模式可以实现跨子网传输，但是传输过程中需要额外的封包和解包过程，对性能有一定的影响。
    使用BGP模式会把每个node节点看作成路由器，通过Felix、BIRD组件来维护和分发路由规则，可实现直接通过BGP路由协议实现路由转发，传输过程中不需要额外封包和解包过程，因此性能较好，但是只能在同一个网段里使用，无法跨子网传输。
    calico不使用cni0网桥，而使通过路由规则把数据包直接发送到目标主机，所以性能较高；而且还具有更丰富的网络策略配置管理能力，功能更全面，但是维护起来较为复杂。

    所以对于较小规模且网络要求简单的K8S集群，可以采用flannel作为cni网络插件。对于K8S集群规模较大且要求更多的网络策略配置时，可以考虑采用性能更好功能更全面的calico或cilium。

    二.CoreDNS

    CoreDNS 是 K8S 默认的集群内部 DNS 功能实现，为 K8S 集群内的 Pod 提供 DNS 解析服务
    根据 service 的资源名称 解析出对应的 clusterIP
    根据 statefulset 控制器创建的Pod资源名称 解析出对应的 podIP

     在所有 node 节点上操作：

    上传 coredns.tar 到 /opt 目录中：

    docker load -i coredns.tar

    在 master01 节点上操作：

    上传 coredns.yaml 文件到 /opt/k8s 目录中，部署 CoreDNS ：

    1. # __MACHINE_GENERATED_WARNING__
    2.  
    3. apiVersion: v1
    4. kind: ServiceAccount
    5. metadata:
    6.   name: coredns
    7.   namespace: kube-system
    8.   labels:
    9.       kubernetes.io/cluster-service: "true"
    10.       addonmanager.kubernetes.io/mode: Reconcile
    11. ---
    12. apiVersion: rbac.authorization.k8s.io/v1
    13. kind: ClusterRole
    14. metadata:
    15.   labels:
    16.     kubernetes.io/bootstrapping: rbac-defaults
    17.     addonmanager.kubernetes.io/mode: Reconcile
    18.   name: system:coredns
    19. rules:
    20. - apiGroups:
    21.   - ""
    22.   resources:
    23.   - endpoints
    24.   - services
    25.   - pods
    26.   - namespaces
    27.   verbs:
    28.   - list
    29.   - watch
    30. - apiGroups:
    31.   - ""
    32.   resources:
    33.   - nodes
    34.   verbs:
    35.   - get
    36. ---
    37. apiVersion: rbac.authorization.k8s.io/v1
    38. kind: ClusterRoleBinding
    39. metadata:
    40.   annotations:
    41.     rbac.authorization.kubernetes.io/autoupdate: "true"
    42.   labels:
    43.     kubernetes.io/bootstrapping: rbac-defaults
    44.     addonmanager.kubernetes.io/mode: EnsureExists
    45.   name: system:coredns
    46. roleRef:
    47.   apiGroup: rbac.authorization.k8s.io
    48.   kind: ClusterRole
    49.   name: system:coredns
    50. subjects:
    51. - kind: ServiceAccount
    52.   name: coredns
    53.   namespace: kube-system
    54. ---
    55. apiVersion: v1
    56. kind: ConfigMap
    57. metadata:
    58.   name: coredns
    59.   namespace: kube-system
    60.   labels:
    61.       addonmanager.kubernetes.io/mode: EnsureExists
    62. data:
    63.   Corefile: |
    64.     .:53 {
    65.         errors
    66.         health {
    67.             lameduck 5s
    68.         }
    69.         ready
    70.         kubernetes cluster.local in-addr.arpa ip6.arpa {
    71.             pods insecure
    72.             fallthrough in-addr.arpa ip6.arpa
    73.             ttl 30
    74.         }
    75.         prometheus :9153
    76.         forward . /etc/resolv.conf {
    77.             max_concurrent 1000
    78.         }
    79.         cache 30
    80.         loop
    81.         reload
    82.         loadbalance
    83.     }
    84. ---
    85. apiVersion: apps/v1
    86. kind: Deployment
    87. metadata:
    88.   name: coredns
    89.   namespace: kube-system
    90.   labels:
    91.     k8s-app: kube-dns
    92.     kubernetes.io/cluster-service: "true"
    93.     addonmanager.kubernetes.io/mode: Reconcile
    94.     kubernetes.io/name: "CoreDNS"
    95. spec:
    96.   # replicas: not specified here:
    97.   # 1. In order to make Addon Manager do not reconcile this replicas parameter.
    98.   # 2. Default is 1.
    99.   # 3. Will be tuned in real time if DNS horizontal auto-scaling is turned on.
    100.   strategy:
    101.     type: RollingUpdate
    102.     rollingUpdate:
    103.       maxUnavailable: 1
    104.   selector:
    105.     matchLabels:
    106.       k8s-app: kube-dns
    107.   template:
    108.     metadata:
    109.       labels:
    110.         k8s-app: kube-dns
    111.     spec:
    112.       securityContext:
    113.         seccompProfile:
    114.           type: RuntimeDefault
    115.       priorityClassName: system-cluster-critical
    116.       serviceAccountName: coredns
    117.       affinity:
    118.         podAntiAffinity:
    119.           preferredDuringSchedulingIgnoredDuringExecution:
    120.           - weight: 100
    121.             podAffinityTerm:
    122.               labelSelector:
    123.                 matchExpressions:
    124.                   - key: k8s-app
    125.                     operator: In
    126.                     values: ["kube-dns"]
    127.               topologyKey: kubernetes.io/hostname
    128.       tolerations:
    129.         - key: "CriticalAddonsOnly"
    130.           operator: "Exists"
    131.       nodeSelector:
    132.         kubernetes.io/os: linux
    133.       containers:
    134.       - name: coredns
    135.         image: registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.7.0
    136.         imagePullPolicy: IfNotPresent
    137.         resources:
    138.           limits:
    139.             memory: 170Mi
    140.           requests:
    141.             cpu: 100m
    142.             memory: 70Mi
    143.         args: [ "-conf", "/etc/coredns/Corefile" ]
    144.         volumeMounts:
    145.         - name: config-volume
    146.           mountPath: /etc/coredns
    147.           readOnly: true
    148.         ports:
    149.         - containerPort: 53
    150.           name: dns
    151.           protocol: UDP
    152.         - containerPort: 53
    153.           name: dns-tcp
    154.           protocol: TCP
    155.         - containerPort: 9153
    156.           name: metrics
    157.           protocol: TCP
    158.         livenessProbe:
    159.           httpGet:
    160.             path: /health
    161.             port: 8080
    162.             scheme: HTTP
    163.           initialDelaySeconds: 60
    164.           timeoutSeconds: 5
    165.           successThreshold: 1
    166.           failureThreshold: 5
    167.         readinessProbe:
    168.           httpGet:
    169.             path: /ready
    170.             port: 8181
    171.             scheme: HTTP
    172.         securityContext:
    173.           allowPrivilegeEscalation: false
    174.           capabilities:
    175.             add:
    176.             - NET_BIND_SERVICE
    177.             drop:
    178.             - all
    179.           readOnlyRootFilesystem: true
    180.       dnsPolicy: Default
    181.       volumes:
    182.         - name: config-volume
    183.           configMap:
    184.             name: coredns
    185.             items:
    186.             - key: Corefile
    187.               path: Corefile
    188. ---
    189. apiVersion: v1
    190. kind: Service
    191. metadata:
    192.   name: kube-dns
    193.   namespace: kube-system
    194.   annotations:
    195.     prometheus.io/port: "9153"
    196.     prometheus.io/scrape: "true"
    197.   labels:
    198.     k8s-app: kube-dns
    199.     kubernetes.io/cluster-service: "true"
    200.     addonmanager.kubernetes.io/mode: Reconcile
    201.     kubernetes.io/name: "CoreDNS"
    202. spec:
    203.   selector:
    204.     k8s-app: kube-dns
    205.   clusterIP: 10.0.0.2
    206.   ports:
    207.   - name: dns
    208.     port: 53
    209.     protocol: UDP
    210.   - name: dns-tcp
    211.     port: 53
    212.     protocol: TCP
    213.   - name: metrics
    214.     port: 9153
    215.     protocol: TCP

    kubectl apply -f coredns.yaml

    kubectl get pods -n kube-system 

    DNS 解析测试：

    kubectl run -it --rm dns-test --image=busybox:1.28.4 sh

    kubelet get svc

  • 相关阅读:
    Vue3 + Nodejs 实战 ，文件上传项目--实现拖拽上传
    HTML5离线Web应用概述
    加速推进企业信息化建设，SRM采购系统赋能建筑工程产业生态链实现数字化转型
    大学生找工作如何做自我介绍？如何做好自我介绍？
    大数据与Hadoop入门理论
    团建游戏---赢得用户
    [附源码]计算机毕业设计JAVA音乐交流平台
    MySQL数据类型
    Ansible——template模块
    盛最多水的容器
  • 原文地址：https://blog.csdn.net/2302_79748698/article/details/136236177