• LINUX学习------Linux自动化运维——Kubernetes网络

    一、k8s网络通信简介

    k8s通过CNI接口接入其他插件来实现网络通讯。目前比较流行的插件有flannel，calico等。CNI插件存放位置：# cat /etc/cni/net.d/10-flannel.conflist

    插件使用的解决方案如下：

    虚拟网桥，虚拟网卡，多个容器共用一个虚拟网卡进行通信。
    多路复用：MacVLAN，多个容器共用一个物理网卡进行通信。
    硬件交换：SR-LOV，一个物理网卡可以虚拟出多个接口，这个性能最好。

    • 容器间通信：同一个pod内的多个容器间的通信，通过lo即可实现；
    • pod之间的通信： 同一节点的pod之间通过cni网桥转发数据包。 不同节点的pod之间的通信需要网络插件支持。
    • pod和service通信: 通过iptables或ipvs实现通信，ipvs取代不了iptables，因为ipvs只能做负载均衡，而做不了nat转换。
    • pod和外网通信：iptables的MASQUERADE。
    • Service与集群外部客户端的通信；（ingress、nodeport、loadbalancer）

    二、flannel配置

    2.1、flannel网络简介

    Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务，简单来说，它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址。

    在默认的Docker配置中，每个节点上的Docker服务会分别负责所在节点容器的IP分配。这样导致的一个问题是，不同节点上容器可能获得相同的内外IP地址。并使这些容器之间能够之间通过IP地址相互找到，也就是相互ping通。

    Flannel的设计目的就是为集群中的所有节点重新规划IP地址的使用规则，从而使得不同节点上的容器能够获得“同属一个内网”且”不重复的”IP地址，并让属于不同节点上的容器能够直接通过内网IP通信。

    • VXLAN，即Virtual Extensible LAN（虚拟可扩展局域网），是Linux本身支持的一网种网络虚拟化技术。VXLAN可以完全在内核态实现封装和解封装工作，从而通过“隧道”机制，构建出覆盖网络（OverlayNetwork）。
    • VTEP：VXLAN Tunnel End Point（虚拟隧道端点），在Flannel中VNI的默认值是1，这也是为什么宿主机的VTEP设备都叫flannel.1的原因。
    • Cni0: 网桥设备，每创建一个pod都会创建一对 vethpair。其中一端是pod中的eth0，另一端是Cni0网桥中的端口（网卡）。
    • Flannel.1:TUN设备(虚拟网卡)，用来进行 vxlan报文的处理（封包和解包）。不同node之间的pod数据流量都从overlay设备以隧道的形式发送到对端。
    • Flanneld：flannel在每个主机中运行flanneld作为agent，它会为所在主机从集群的网络地址空间中，获取一个小的网段subnet，本主机内所有容器的IP地址都将从中分配。同时Flanneld监听K8s集群数据库，为flannel.1设备提供封装数据时必要的mac、ip等网络数据信息。

    2.2、flannel网络原理

    Flannelvxlan模式跨主机通信原理
    在这里插入图片描述

    • 当容器发送IP包，通过veth pair发往cni网桥，再路由到本机的flannel.1设备进行处理。
    • VTEP设备之间通过二层数据帧进行通信，源VTEP设备收到原始IP包后，在上面加上一个目的MAC地址，封装成一个内部数据帧，发送给目的VTEP设备。
    • 内部数据桢，并不能在宿主机的二层网络传输，Linux内核还需要把它进一步封装成为宿主机的一个普通的数据帧，承载着内部数据帧通过宿主机的eth0进行传输。
    • Linux会在内部数据帧前面，加上一个VXLAN头，VXLAN头里有一个重要的标志叫VNI，它是VTEP识别某个数据桢是不是应该归自己处理的重要标识。
    • flannel.1设备只知道另一端flannel.1设备的MAC地址，却不知道对应的宿主机地址是什么。在linux内核里面，网络设备进行转发的依据，来自FDB的转发数据库，这个flannel.1网桥对应的FDB信息，是由flanneld进程维护的。
    • linux内核在IP包前面再加上二层数据帧头，把目标节点的MAC地址填进去，MAC地址从宿主机的ARP表获取。
    • 此时flannel.1设备就可以把这个数据帧从eth0发出去，再经过宿主机网络来到目标节点的eth0设备。目标主机内核网络栈会发现这个数据帧有VXLAN
      Header，并且VNI为1，Linux内核会对它进行拆包，拿到内部数据帧，根据VNI的值，交给本机flannel.1设备处理,flannel.1拆包，根据路由表发往cni网桥，最后到达目标容器。

    2.3、flannel配置

    flannel支持多种后端：

    Vxlan：
    vxlan ##报文封装，默认
    Directrouting ##直接路由，跨网段使用vxlan，同网段使用host-gw模式。
    host-gw： ##主机网关，性能好，但只能在二层网络中，不支持跨网络， 如果有成千上万的Pod，容易产生广播风暴，不推荐
    UDP： ##性能差，不推荐

    server2

    kubectl -n kube-system edit cm kube-flannel-cfg			## 查找并修改kube-flannel-cfg配置文件，将type由vxlan改为host-gw直连模式
net-conf.json: |
    {
      "Network": "10.244.0.0/16",
      "Backend": {
        "Type": "host-gw"
      }
    }

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8

    在这里插入图片描述

    kubectl get pod -n kube-system | grep kube-flannel | awk '{system("kubectl delete pod "$1" -n kube-system")}'		## 删除节点副本，重新生成的节点会读取修改后的配置文件并生效。

    • 1

    在这里插入图片描述

    vim deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: deployment-nginx
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: myapp:v1
        readinessProbe:
          httpGet:
            path: /hostname.html
            port: 80

kubectl get pod -o wide

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24

    在这里插入图片描述
    主机访问pod
    在这里插入图片描述

    pod访问pod
    kubectl run demo --image=busyboxplus -it --restart=Never
    在这里插入图片描述

    查看server3目的地是10.244.0.0/24网段的数据由server2作为网关，目的地是10.244.2.0/24网段的数据由server4作为网关
    route -n
    在这里插入图片描述

    三、metallb

    3.1、metallb简介

    参考网址：https://metallb.universe.tf/

    为什么使用metallb？

    Kubernetes不提供网络负载均衡器的实现（LoadBalancer类型的服务）用于裸机集群。Kubernetes附带的Network
    LB的实现都是调用各种IaaS平台（GCP，AWS，Azure等）的粘合代码。如果您未在受支持的IaaS平台（GCP，AWS，Azure等）上运行，则LoadBalancers在创建时将无限期保持“待处理”状态。
    裸机集群运营商只剩下两个较小的工具，即“ NodePort”和“ externalIPs”服务，可将用户流量引入其集群。这两个选项在生产用途上都有很大的缺点，这使裸金属集群成为Kubernetes生态系统中的二等公民。
    MetalLB旨在通过提供与标准网络设备集成的Network LB实现来解决这种不平衡问题，从而使裸机群集上的外部服务也尽可能“正常运行”。

    3.2、metallb部署

    我们需要提前将镜像下载好，平且上传至私有仓库

    server1
docker load -i metallb-v0.10.3.tar
wget https://raw.githubusercontent.com/metallb/metallb/v0.10.3/manifests/namespace.yaml			##官网获取配置文件
wget https://raw.githubusercontent.com/metallb/metallb/v0.10.3/manifests/metallb.yaml
docker push reg.westos.org/metallb/speaker:v0.10.3
docker push reg.westos.org/metallb/controller:v0.10.3

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    在这里插入图片描述

    server2

    如果您在IPVS模式下使用kube-proxy，则从Kubernetes v1.14.2开始，您必须启用严格的ARP模式。
    请注意，如果您将kube-router用作服务代理，则不需要此设置，因为默认情况下它启用了严格的arp。
    您可以通过在当前集群中编辑kube-proxy配置来实现：

    kubectl edit configmaps -n kube-system kube-proxy
ipvs:
      excludeCIDRs: null
      minSyncPeriod: 0s
      scheduler: ""
      strictARP: true
      syncPeriod: 0s
      tcpFinTimeout: 0s
      tcpTimeout: 0s
      udpTimeout: 0s
    kind: KubeProxyConfiguration
    metricsBindAddress: ""
    mode: "ipvs"

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13

    在这里插入图片描述

    kubectl get pod -n kube-system | grep kube-proxy | awk '{system("kubectl delete pod "$1" -n kube-system")}'  ##更新kube-proxy pod
vim metallb.yaml
kubectl apply -f metallb.yaml


    • 1
    • 2
    • 3
    • 4

    在这里插入图片描述
    在这里插入图片描述

    在这里插入图片描述
    定义地址池

    [root@server2 metallb]# vim config.yml
apiVersion: v1
kind: ConfigMap
metadata:
  namespace: metallb-system
  name: config
data:
  config: |
    address-pools:
    - name: default
      protocol: layer2
      addresses:
      - 172.25.1.100-172.25.1.200
[root@server2 metallb]# kubectl apply -f config.yml

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14

    创建一个svc进行测试

    kubectl apply -f lb-svc.yaml
vim lb-svc.yaml
apiVersion: v1
kind: Service
metadata:
  name: lb-nginx
spec:
  ports:
    - name: http
      port: 80
      targetPort: 80
  selector:
      app: nginx
  type: LoadBalancer


 kubectl get svc

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17

    在这里插入图片描述
    ipvsadm -ln
    在这里插入图片描述真机访问

    curl 172.25.22.100
curl 172.25.22.100/hostname.html				##负载均衡

    • 1
    • 2

    在这里插入图片描述

    四、Ingress

    4.1、ingress简介

    单独用service暴露服务的方式，在实际生产环境中不太合适

    • ClusterIP的方式只能在集群内部访问。 NodePort方式的话，测试环境使用还行，当有几十上百的服务在集群中运行时，NodePort的端口管理是灾难。 LoadBalance方式受限于云平台，且通常在云平台部署ELB还需要额外的费用。

    • ingress可以简单理解为service的service，他通过独立的ingress对象来制定请求转发的规则，把请求路由到一个或多个service中。这样就把服务与请求规则解耦了，可以从业务维度统一考虑业务的暴露，而不用为每个service单独考虑。

    • Kubernetes 里的Ingress 服务是一种全局的、为了代理不同后端Service 而设置的负载均衡服务。Ingress由两部分组成：Ingress controller和Ingress服务。 Ingress Controller会根据你定义的Ingress 对象，提供对应的代理能力。业界常用的各种反向代理项目，比如Nginx、HAProxy、Envoy、Traefik 等，都已经为Kubernetes 专门维护了对应的IngressController。

    在这里插入图片描述

    4.2、ingress部署

    server1
docker load -i ingress-nginx-v1.0.3.tar
docker push reg.westos.org/ingress-nginx//controller:v1.0.3
docker push reg.westos.org/ingress-nginx/kube-webhook-certgen:v1.0 

    • 1
    • 2
    • 3
    • 4

    在这里插入图片描述

    server2
    wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.0.4/deploy/static/provider/cloud/deploy.yaml
    vim /root/ingress-nginx/deploy.yaml
    image: ingress-nginx/controller:v1.0.3
    image: ingress-nginx/kube-webhook-certgen:v1.0

    kubectl apply -f deploy.yaml

    在这里插入图片描述

    kubectl get pod -n ingress-nginx
    在这里插入图片描述
    kubectl -n ingress-nginx describe svc ingress-nginx-controller
    在这里插入图片描述kubectl get svc
    在这里插入图片描述

    vim backend.yaml

    kubectl apply -f backend.yaml

    kubectl get svc

    在这里插入图片描述
    curl 10.103.35.227

    在这里插入图片描述

    vim inress-default.yaml
    在这里插入图片描述

    kubectl apply -f inress-default.yaml
    kubectl get ingress
    在这里插入图片描述

    kubectl describe ingress ingress-backend

    在这里插入图片描述
    vim inress-default.yaml
    apiVersion: networking.k8s.io/v1
    kind: Ingress
    metadata:
    name: ingress-backend
    spec:
    #ingressClassName: nginx
    defaultBackend:
    service:
    name: defaultbackend
    port:
    number: 80
    kubectl get ingress
    在这里插入图片描述

    kubectl describe ingress ingress-backend
    在这里插入图片描述kubectl -n ingress-nginx get svc

    在这里插入图片描述
    curl 10.97.44.81

    在这里插入图片描述

    vim inress-default.yaml
    apiVersion: networking.k8s.io/v1
    kind: Ingress
    metadata:
    name: ingress-backend
    spec:
    ingressClassName: nginx
    defaultBackend:
    service:
    name: defaultbackend
    port:
    number: 80

    kubectl delete -f inress-default.yaml
    kubectl apply -f inress-default.yaml
    kubectl get ingress

    在这里插入图片描述
    curl 10.103.35.227
    在这里插入图片描述
    vim deploy.yaml
    annotations:
    ingressclass.kubernetes.io/is-default-class: “true”

    在这里插入图片描述
    kubectl apply -f deploy.yaml

    vim inress-default.yaml

    kubectl apply -f inress-default.yaml
    vim deployment.yaml

    kubectl apply -f deployment.yaml

    在这里插入图片描述
    kubectl get svc

    在这里插入图片描述

    kubectl describe svc www1-svc
    在这里插入图片描述

    vim ingress-www1.yaml
    kubectl apply -f ingress-www1.yaml

    在这里插入图片描述

    4.3、Ingress 认证

    yum install -y httpd-tools
    openssl req -x509 -sha256 -nodes -days 365 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj “/CN=nginxsvc/O=nginxsvc”
    在这里插入图片描述
    kubectl create secret tls tls-secret --key tls.key --cert tls.crt

    kubectl get secrets
    在这里插入图片描述

    htpasswd -c auth wj
    vim deployment.yaml
    kubectl apply -f ingress-www1.yaml

    kubectl describe ingress ingress-www1

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述在这里插入图片描述

    五、calico网络插件

    5.1、calico简介

    • flannel实现的是网络通信，calico的特性是在pod之间的隔离。
    • 通过BGP路由，但大规模端点的拓扑计算和收敛往往需要一定的时间和计算资源。
    • 纯三层的转发，中间没有任何的NAT和overlay，转发效率最好。
    • Calico 仅依赖三层路由可达。Calico 较少的依赖性使它能适配所有 VM、Container、白盒或者混合环境场景。

    网络架构：

    Felix：监听ECTD中心的存储获取事件，用户创建pod后，Felix负责将其网卡、IP、MAC都设置好，然后在内核的路由表里面写一条，注明这个IP应该到这张网卡。同样如果用户制定了隔离策略，Felix同样会将该策略创建到ACL中，以实现隔离。
    BIRD：一个标准的路由程序，它会从内核里面获取哪一些IP的路由发生了变化，然后通过标准BGP的路由协议扩散到整个其他的宿主机上，让外界都知道这个IP在这里，路由的时候到这里来。

    在这里插入图片描述

    工作模式：

    • IPIP工作模式：适用于互相访问的pod不在同一个网段中，跨网段访问的场景。

    在这里插入图片描述

    • BGP工作模式：适用于互相访问的pod在同一个网段，适用于大型网络。
      在这里插入图片描述

    5.2、calico的安装部署

    官网：https://docs.projectcalico.org/getting-started/kubernetes/self-managed-onprem/onpremises
    获取calico.yaml和calico的压缩包

    **server1**
docker load -i calico-v3.20.2.tar
docker images | grep calico | awk '{system("docker tag "$1":"$2" reg.westos.org/"$1":"$2"")}'
docker push reg.westos.org/calico/pod2daemon-flexvol:v3.20.2
docker push reg.westos.org/calico/node:v3.20.2
docker push reg.westos.org/calico/kube-controllers:v3.20.2
docker push reg.westos.org/calico/cni:v3.20.2

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7

    在这里插入图片描述
    server2
    初始化k8s

    cd /etc/cni/net.d/			##server1 server2 server3
rm -fr *
kubectl -n kube-system delete pod --all
kubectl delete svc --all
kubectl delete ingress --all
ubectl delete deployments.apps --all
kubectl delete -f .kube-flannel.yml


将镜像路径设置为自己的harbor仓库的路径，把CALICO_IPV4POOL_IPIP功能关闭
vim calico.yaml
- name: CALICO_IPV4POOL_IPIP
              value: "off"											##关闭隧道模式
            # Enable or Disable VXLAN on the default IP pool.
            - name: CALICO_IPV4POOL_VXLAN

kubectl apply -f calico.yaml
kubectl  -n kube-system get pod

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18

    在这里插入图片描述

    5.3、实验

    1、限制访问指定服务

    编辑deny-nginx.yaml配置文件

    要进行限制访问的是标签为myapp的pod容器

     vim nginx-policy.yml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
 name: deny-nginx
spec:
 podSelector:
 matchLabels:
 app: myapp

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9

    应用下列yaml配置文件，查看服务，看到lb-svc的集群ip和外部访问ip，对这两个地址测试访问，发现访问失败

    kubectl apply -f deployment.yaml

    • 1

    在这里插入图片描述
    查看pod信息并输出所在的节点，访问pod所在节点的ip地址，依然访问失败

    在这里插入图片描述
    因为这些pod的标签都是myapp，已经设置了限制访问
    在这里插入图片描述

    2、禁止 namespace 中所有 Pod 之间的相互访问

    apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: default-deny
  namespace: default
spec:
  podSelector: {}

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7

    3、允许外网访问服务

    vim policy2.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: default-deny
  namespace: default
spec:
  podSelector:
    matchLables:
  ingress:
  - from:
    - podSelector: {}

---

kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
  name: web-allow-external
spec:
  podSelector:
    matchLabels:
      app: myapp
  ingress:
  - ports:
    - port: 80
    from: []

kubectl apply -f policy2.yaml

真机访问 curl  172.25.22.101

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31

    在这里插入图片描述

    4、除了 172.25.0.0/24 之外的所有 172.25.0.0/16可访问

    vim policy2.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: default-deny
  namespace: default
spec:
  podSelector:
    matchLables:
  ingress:
  - from:
    - podSelector: {}

---

kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
  name: web-allow-external
spec:
  podSelector:
    matchLabels:
      app: myapp
  ingress:
  - from:
    - ipBlock:
        cidr: 172.25.0.0/16
        except:
        - 172.25.0.0/24
    ports:
    - port: 80

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31

    5、 禁止其他 namespace 访问服务

    kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
 name: deny-namespace
spec:
 podSelector:
 matchLabels:
 ingress:
 - from:
 - podSelector: {}

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10

    6、只允许指定namespace访问服务

    kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
 name: access-namespace
spec:
 podSelector:
 matchLabels:
 app: myapp
 ingress:
 - from:
 - namespaceSelector:
 matchLabels:
 role: prod

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
  • 相关阅读:
    Spring 6【异常通知、Schema-based方式包含多个相同通知的执行顺序、AspectJ实现AOP、在通知中获取切入点参数的写法 】(十五)-全面详解（学习总结---从入门到深化）
    maven 项目添加 git-hook 脚本，约束提交内容格式
    clickhouse的Distributed分布式表查询的性能陷阱
    Reactor 之 手把手教你 Spring Boot 整合 Reactor
    Java之面向对象中
    Jmeter之配置元件
    辅助驾驶功能开发-功能规范篇(24)-1-影子模式功能触发规范
    和硕首次参加展OCP 峰会，将发布多项AI合作项目产品 | 百能云芯
    Microsemi Libero SoC 教程2 (点亮LED闪烁)
    【系统架构】系统质量属性与架构评估
  • 原文地址：https://blog.csdn.net/qq_45106132/article/details/120759398