-
k8s 多网卡方案multus
kubernetes 多网卡方案之 Multus_CNI 部署以及基本使用
一、multus cni 出现的背景
在k8s的环境中启动一个容器，默认情况下只存在两个虚拟网络接口（loopback 和 eth0）， loopback 的流量始终都会在本容器内或本机循环，对业务起到支撑作用的是 eth0，能够满足大部分的业务场景。
但是当一个应用或服务既需要对外提供 API 调用服务，也需要满足自身基于分布式特性产生的数据同步（一些业务场景的控制面和数据面的分离场景），那么这时候一张网卡的性能显然很难达到生产级别的要求，网络流量延时、阻塞便成为此应用的一项瓶颈。
为了实现生产环境的实际需求，出现了许多容器多网络方案。根据开源社区活跃度、是否实现 CNI 规范以及稳定性，大部分场景使用 multus-cni 作为在 K8s 环境下的容器多网络方案。
二、multus cni 介绍
Multus CNI 是一种符合CNI规范的开源插件，为实现 K8s环境下容器多网卡而提出的解决方案并与其他 CNI 插件搭配使用。Multus CNI 本身不提供网络配置功能，它是通过用其他满足 CNI 规范的插件进行容器的网络配置。
如下图所示，当集群环境存在 Multus CNI 插件并添加额外配置后，将会发现此容器内不再仅有 eth0 接口
CNI 是一组限于容器网络面的规范，定义了容器网络资源创建、管理的规则。其自身实现并提供了内置且通用的网络插件，同时为第三方实现其规范预留了扩展。
cni类型如下：类型 作用 插件 Main 负责容器接口（网桥、虚拟网卡）的创建 bridge、ipvlan、macvlan、ptp等 Ipam pod Ip地址的分配管理 host-local、dhcp、calico-ipam、static等 Meta 用于和第三方插件适配扩展应用或则内核参数调整 tuning、bandwidth、portmap等 以上可以得知，Multus CNI 属于 Meta 类, 它可以与其他第三方插件适配，主插件来作为 Pod 的主网络并且被 K8s所感知，它们可以搭配使用且不冲突。
Main 插件是用于在集群中创建额外的网络： 1：bridge：创建基于网桥的额外网络可让同一主机中的 Pod 相互通信，并与主机通信。 2：host-device：创建 host-device 额外网络可让 Pod 访问主机系统上的物理以太网网络设备。 3：macvlan：创建基于 macvlan 的额外网络可让主机上的 Pod 通过使用物理网络接口与其他主机和那些主机上的 Pod 通信。附加到基于 macvlan 的额外网络的每个 Pod 都会获得一个唯一的 MAC 地址。 4：ipvlan：创建基于 ipvlan 的额外网络可让主机上的 Pod 与其他主机和那些主机上的 Pod 通信，这类似于基于 macvlan 的额外网络。与基于 macvlan 的额外网络不同，每个 Pod 共享与父级物理网络接口相同的 MAC 地址。 5：SR-IOV：创建基于 SR-IOV 的额外网络可让 Pod 附加到主机系统上支持 SR-IOV 的硬件的虚拟功能 (VF) 接口。 ############################################################### Ipam（IP Address Management）插件主要用来负责分配 IP 地址： 1：dhcp插件，节点上需要有 DHCP server； 2：host-local插件 ，是给定子网范围，在单个几点上基于这个子网进行 ip 地址分配； 3：static插件，静态地址管理，直接指定 ip 地址使用的。 4：calico-ipam ，是 clalico cni 自己的 ip 地址分配插件，是一种集中式 ip 分配插件； 5：whereabouts ，也是一个集中式 ip 分配插件，用的比较少，使用了 sriov 设备才用到的，这个是 k8snetworkplumbingwg 社区开源的。 ########################################### Meta 插件：由 CNI 社区维护的内部插件 1：flannel，这就是专门为 Flannel 项目提供的 CNI 插件； 2：tunning，是一个通过 sysctl 调整网络设备参数的二进制文件； 3：portmap ，是一个通过 iptables 配置端口映射的二进制文件； 4：bandwidth ，是一个使用 Token Bucket Filter（TBF）来进行限流的二进制文件； 5：calico，是专门为 Calico 项目提供的 CNI 插件。- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
三、multus cni 部署
本次测试环境中使用的主cni为calico,网络模式是ipip模式，如下：
[root@node1 ~]# kubectl get po -A | grep calico kube-system calico-kube-controllers-75c594996d-x49mw 1/1 Running 5 (13d ago) 206d kube-system calico-node-htq5b 1/1 Running 1 (13d ago) 206d kube-system calico-node-x6xwl 1/1 Running 1 (13d ago) 206d kube-system calico-node-xdx46 1/1 Running 1 (13d ago) 206d #######查看IPIPMODE为Always [root@node1 ~]# calicoctl get ippool -o wide NAME CIDR NAT IPIPMODE VXLANMODE DISABLED DISABLEBGPEXPORT SELECTOR default-ipv4-ippool 10.233.64.0/18 true Always Never false false all()- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
下载multus cni文件部署multus 服务
1: 克隆文件 git clone https://github.com/k8snetworkplumbingwg/multus-cni.git && cd multus-cni/deployments ################################## 2：部署服务 [root@node1 deployments]# kubectl apply -f multus-daemonset-thick.yml customresourcedefinition.apiextensions.k8s.io/network-attachment-definitions.k8s.cni.cncf.io changed clusterrole.rbac.authorization.k8s.io/multus changed clusterrolebinding.rbac.authorization.k8s.io/multus changed serviceaccount/multus changed configmap/multus-daemon-config changed daemonset.apps/kube-multus-ds created [root@node1 deployments]# ################################# 3:查看multus服务是否正常 [root@node1 ~]# kubectl get ds -n kube-system | grep multus kube-multus-ds 3 3 3 3 344s [root@node1 ~]# [root@node1 ~]# kubectl get po -o wide -n kube-system | grep multus kube-multus-ds-fqdxg 1/1 Running 0 53s 192.168.5.126 node2 kube-multus-ds-gx2c7 1/1 Running 0 53s 192.168.5.27 node3 kube-multus-ds-z2j4n 1/1 Running 0 53s 192.168.5.79 node1 [root@node1 ~]# - 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
multus cni作为ds 进程，会在每个节点做已下操作
1：在每个节点运行multus-daemon进程 [root@node1 net.d]# ps -ef | grep multus root 25811 25696 0 18:33 ? 00:00:00 /usr/src/multus-cni/bin/multus-daemon root 31445 14072 0 18:43 pts/0 00:00:00 grep --color=auto multus [root@node1 net.d]# ################################# 2：在每个节点的/opt/cni/bin/上生成一个 Multus 二进制可执行文件。可执行文件的作用是配置 Pod 的网络栈，DaemonSet 的作用是实现网络互通。 [root@node1 net.d]# ll /opt/cni/bin/ | grep multus -rwxr-xr-x 1 root root 45946850 Nov 1 18:33 multus-shim [root@node1 net.d]# 注意：一个 Network Namespace 的网络栈包括：网卡（Network interface）、回环设备（Loopback Device）、路由表（Routing Table）和 iptables 规则。 ########################## 3：在每个节点的/etc/cni/net.d目录下生成00-multus.conf，如下： [root@node1 net.d]# cat 00-multus.conf | jq . { "capabilities": { "bandwidth": true, "portMappings": true }, "cniVersion": "0.3.1", "logLevel": "verbose", "logToStderr": true, "name": "multus-cni-network", "clusterNetwork": "/host/etc/cni/net.d/10-calico.conflist", ##从此文件读取集群calico网络配置（版本不一样，文件内容可能会有差异，以自己环境为准） "type": "multus-shim" }- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
至此multus cni的部署已经完成，接下来需要测试使用，网上的一些教程使用的大部分是
macvlan的形式，比较简单。本次我们打算使用calico和flannel两种cni相结合的方式来实现pod 的多网卡方案。四、环境信息
已有环境的信息如下：
calico网络作为master plugin，走eth0网卡；flannel网络作为attachment网络，走eth1网卡
主机 eth0 eth1 node1 192.168.5.79 192.168.10.11 node2 192.168.5.126 192.168.10.12 node3 192.168.5.27 192.168.10.13 每个节点使用eth0作为默认路由 [root@node1 ~]# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.5.1 0.0.0.0 UG 0 0 0 eth0 10.233.90.0 0.0.0.0 255.255.255.0 U 0 0 0 * 10.233.90.1 0.0.0.0 255.255.255.255 UH 0 0 0 cali41f400bfcca 10.233.92.0 192.168.5.27 255.255.255.0 UG 0 0 0 tunl0 10.233.96.0 192.168.5.126 255.255.255.0 UG 0 0 0 tunl0 169.254.169.254 192.168.10.2 255.255.255.255 UGH 0 0 0 eth1 192.168.5.0 0.0.0.0 255.255.255.0 U 0 0 0 eth0 192.168.10.0 0.0.0.0 255.255.255.0 U 0 0 0 eth1- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
主机网络拓扑如下：
五、flannel部署
- 下载yaml文件
在主机运行wget下载flannel的yaml 文件 [root@node1 ~]# wget https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml- 1
- 2
- 修改启动参数
1：此次是calico和flannel网络分离使用不同的网卡，所以要修改flannel网络使用的网卡为eth1 编辑flannel.yaml文件,添加如下内容 containers: - name: kube-flannel image: docker.io/flannel/flannel:v0.22.3 command: - /opt/bin/flanneld args: - --ip-masq - --kube-subnet-mgr - --iface=eth1 ####设置使用网卡为eth1 #######################################3 2：修改网络，避免和现有的calico以及物理网络冲突 net-conf.json: | { "Network": "10.233.0.0/16", "Backend": { "Type": "vxlan" ###网络模式为vxlan } }- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 部署flannel
1：部署flannel [root@node1 ~]# kubectl apply -f flannel.yaml namespace/kube-flannel created clusterrole.rbac.authorization.k8s.io/flannel created clusterrolebinding.rbac.authorization.k8s.io/flannel created serviceaccount/flannel created configmap/kube-flannel-cfg created daemonset.apps/kube-flannel-ds created [root@node1 ~]# ################################# 2：查看pod启动状态 [root@node1 ~]# kubectl get po -A -o wide | grep flannel kube-flannel kube-flannel-ds-6tkzg 1/1 Running 0 3m39s 192.168.5.126 node2kube-flannel kube-flannel-ds-72ccp 1/1 Running 0 5m20s 192.168.5.79 node1 kube-flannel kube-flannel-ds-gvhlc 1/1 Running 0 3m47s 192.168.5.27 node3 [root@node1 ~]# ########################### 3:查看flannel的启动日志 [root@node1 ~]# kubectl logs kube-flannel-ds-6tkzg -n kube-flannel Defaulted container "kube-flannel" out of: kube-flannel, install-cni-plugin (init), install-cni (init) I1102 03:07:31.013498 1 main.go:212] CLI flags config: {etcdEndpoints:http://127.0.0.1:4001,http://127.0.0.1:2379 etcdPrefix:/coreos.com/network etcdKeyfile: etcdCertfile: etcdCAFile: etcdUsername: etcdPassword: version:false kubeSubnetMgr:true kubeApiUrl: kubeAnnotationPrefix:flannel.alpha.coreos.com kubeConfigFile: iface:[eth1] ifaceRegex:[] ipMasq:true ifaceCanReach: subnetFile:/run/flannel/subnet.env publicIP: publicIPv6: subnetLeaseRenewMargin:60 healthzIP:0.0.0.0 healthzPort:0 iptablesResyncSeconds:5 iptablesForwardRules:true netConfPath:/etc/kube-flannel/net-conf.json setNodeNetworkUnavailable:true useMultiClusterCidr:false} W1102 03:07:31.013748 1 client_config.go:617] Neither --kubeconfig nor --master was specified. Using the inClusterConfig. This might not work. I1102 03:07:31.133998 1 kube.go:145] Waiting 10m0s for node controller to sync I1102 03:07:31.134230 1 kube.go:490] Starting kube subnet manager I1102 03:07:31.145860 1 kube.go:511] Creating the node lease for IPv4. This is the n.Spec.PodCIDRs: [10.233.64.0/24] I1102 03:07:31.146023 1 kube.go:511] Creating the node lease for IPv4. This is the n.Spec.PodCIDRs: [10.233.66.0/24] I1102 03:07:32.134217 1 kube.go:152] Node controller sync successful I1102 03:07:32.134272 1 main.go:232] Created subnet manager: Kubernetes Subnet Manager - node2 I1102 03:07:32.134290 1 main.go:235] Installing signal handlers I1102 03:07:32.134579 1 main.go:543] Found network config - Backend type: vxlan I1102 03:07:32.135308 1 match.go:259] Using interface with name eth1 and address 192.168.10.12 I1102 03:07:32.135345 1 match.go:281] Defaulting external address to interface address (192.168.10.12) I1102 03:07:32.135446 1 vxlan.go:141] VXLAN config: VNI=1 Port=0 GBP=false Learning=false DirectRouting=false W1102 03:07:32.178714 1 main.go:596] no subnet found for key: FLANNEL_SUBNET in file: /run/flannel/subnet.env I1102 03:07:32.178731 1 main.go:482] Current network or subnet (10.233.0.0/16, 10.233.65.0/24) is not equal to previous one (0.0.0.0/0, 0.0.0.0/0), trying to recycle old iptables rules I1102 03:07:32.181267 1 kube.go:511] Creating the node lease for IPv4. This is the n.Spec.PodCIDRs: [10.233.65.0/24] I1102 03:07:32.229373 1 main.go:357] Setting up masking rules I1102 03:07:32.232287 1 main.go:408] Changing default FORWARD chain policy to ACCEPT I1102 03:07:32.234353 1 iptables.go:290] generated 7 rules I1102 03:07:32.236378 1 main.go:436] Wrote subnet file to /run/flannel/subnet.env I1102 03:07:32.236397 1 main.go:440] Running backend. I1102 03:07:32.236791 1 iptables.go:290] generated 3 rules I1102 03:07:32.236913 1 vxlan_network.go:65] watching for new subnet leases ########################### 4：确认各个节点flannel插件以及网络正常 [root@node1 ~]# ll /opt/cni/bin/ | grep flannel -rwxr-xr-x 1 root root 2414517 Nov 2 11:03 flannel ###会在每个节点生成flannel的二进制文件 [root@node1 ~]# cat /var/run/flannel/subnet.env ###每个节点可用网络的CIDR FLANNEL_NETWORK=10.233.0.0/16 FLANNEL_SUBNET=10.233.64.1/24 FLANNEL_MTU=1450 FLANNEL_IPMASQ=true [root@node1 ~]# [root@node1 ~]# ip a ###在每个节点多了一个flannel.1的网桥 49: flannel.1: - 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
六、修改calico网络使用网卡
因为环境在最初之前已经部署了calico，是按照calico网络默认方式选择的可用的ip地址，因为这次要测试流量分离所以最好要修改下。
calico选择ip的方式有两种 1：first-found：第一个接口的第一个有效IP地址，会排除docker网络，localhost。我们环境中有两个网卡，所以要选择一个有效的的网卡 2：can-reach=DESTINATION：可以理解为calico会从部署节点路由中获取到达目的ip或者域名的源ip地址- 1
- 2
- 3
我们检查下目前calico使用的是哪种模式如下：
[root@node1 ~]# kubectl get ds -n kube-system | grep calico calico-node 3 3 3 3 3 kubernetes.io/os=linux 207d [root@node1 ~]# ###查看calico daemonset中IP_AUTODETECTION_METHOD 配置 [root@node1 ~]# kubectl get ds/calico-node -n kube-system -o yaml - name: IP_AUTODETECTION_METHOD value: can-reach=$(NODEIP) ###可以看到使用是can-reach方式，将本机eth0的ip作为流量网卡使用 ####进入pod查看环境变量，如下： [root@node1 ~]# kubectl exec -it calico-node-htq5b -nkube-system bash [root@node1 /]# env | grep IP_AUTODETECTION_METHOD IP_AUTODETECTION_METHOD=can-reach=192.168.5.79 ###可以看到是本机eth0的ip [root@node1 /]#- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
修改calico使用指定网卡eth0
有以下两种方式 1：命令行执行替换变量 [root@node1 ~]# kubectl set env daemonset/calico-node -n kube-system IP_AUTODETECTION_METHOD=interface=eth0 daemonset.apps/calico-node env updated ####修改完之后，pod自动重启如下： [root@node1 ~]# kubectl get pod -n kube-system | grep calico calico-kube-controllers-75c594996d-x49mw 1/1 Running 5 (13d ago) 207d calico-node-749ll 1/1 Running 0 12s calico-node-hbz99 1/1 Running 0 33s calico-node-lgpcj 1/1 Running 0 43s ############################################## 2：编辑daemonset ，如下： [root@node1 ~]# kubectl edit daemonset/calico-node -n kube-system - name: IP_AUTODETECTION_METHOD value: interface=eth0 ###修改为eth0 ，效果和上面一样，pod会自动重启 ############################################### 3：进入pod，查看是否生效 [root@node1 ~]# kubectl exec -it calico-node-749ll -nkube-system bash [root@node3 /]# env | grep IP_AUTODETECTION_METHOD IP_AUTODETECTION_METHOD=interface=eth0 ###变量已经生效 [root@node3 /]# [root@node3 /]#- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
七、启动pod测试
1：编辑pod yaml，如下： --- apiVersion: v1 kind: Pod metadata: name: nginx annotations: k8s.v1.cni.cncf.io/networks: flannel spec: containers: - name: nginx image: docker.io/library/nginx:latest imagePullPolicy: IfNotPresent ###################################################### 2：启动pod，查看状态 [root@node1 ~]# kubectl apply -f pod.yaml pod/nginx created [root@node1 ~]# kubectl get po -o wide ###默认显示的还是calico的网络 NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginx 1/1 Running 0 8s 172.16.28.2 node3###################################################### 3：此pod位于node3节点，ssh到node3，进入pod命名空间查看ip以及路由问题 [root@node3 ~]# crictl ps | grep nginx fcfbae2ace1b9 12766a6745eea 4 minutes ago Running nginx 0 0365e4a0f167f nginx [root@node3 ~]# crictl inspect fcfbae2ace1b9 | grep -i pid "pid": 23237, "pid": 1 "type": "pid" [root@node3 ~]# nsenter -t 23237 -n bash [root@node3 ~]# ip a 1: lo: mtu 1480 qdisc noop state DOWN group default qlen 1000 link/ipip 0.0.0.0 brd 0.0.0.0 4: eth0@if79: - 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
测试网络是否可通，在容器的宿主机node3上测试两个ip地址都可以通
从其他物理节点测试，calico网络172段的可通，flannel的不可达，因为pod默认路由走的eth0.
在创建一个pod，测试不同主机之间的pod能否互通
[root@node1 ~]# kubectl get po -o wide ###新建nginx2,位于node2节点 NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginx 1/1 Running 0 32m 172.16.28.2 node3nginx2 1/1 Running 0 3m45s 172.16.44.1 node2 进入nginx2容器，ping nginx容器ip,如下： [root@node2 ~]# ip a 1: lo: mtu 1480 qdisc noop state DOWN group default qlen 1000 link/ipip 0.0.0.0 brd 0.0.0.0 4: eth0@if85: - 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
注意：在该环境中，如果使用networkpolicy，是能对容器的eth0显示，并不能显示net1网卡的流量策略，因为flannel本身不支持networkpolicy功能。
-
相关阅读:
第 115 场 LeetCode 双周赛题解
【MATLAB源码-第56期】基于WOA白鲸优化算法和PSO粒子群优化算法的三维路径规划对比。
[Linux] 6.VMware虚拟机网络配置
230. 二叉搜索树中第K小的元素
设计高并发系统的关键策略
我又开始贩卖焦虑了，机器视觉兄弟们，打工这生意盘不活了？让人逃离北上广深，是毒鸡汤吗？
无约束优化算法
关于远程工作的面试可能存在的陷阱
如何下载 Apache + PHP + Mysql 集成安装环境并结合内网穿透工具实现公网访问内网服务
如何下载网页中嵌套的PDF
- 原文地址：https://blog.csdn.net/weixin_40579389/article/details/134183179
