配置资源管理 Secret和configMap

• @[TOC](配置资源管理 Secret和configMap)
• 一、Secret
• • 1.Secret概念
  • 2.Secret的类型
  • 3.secret的三种参数
  • 4.Pod 的3种方式来使用secret
  • 5.Secret创建及案例
• 二.ConfigMap
• • 1.ConfigMap概念
  • 2.ConfigMap功能及应用场景
  • 3.ConfigMap创建及案例
• 三、总结
• • 1.secret三种类型
  • 2.创建secret资源
  • 3.secret资源使用
  • 4.configMap cm

一、Secret

1.Secret概念

（1）Secret 是用来保存密码、token、密钥等敏感数据的 k8s 资源，这类数据虽然也可以存放在 Pod 或者镜像中，但是放在 secret 中是为了更方便的控制如何使用数据，并减少暴露的风险

（2）类似挂载的方式，使用的时候调用即可

2.Secret的类型

① kubernetes.io/service-account-token

由Kubernetes自动创建，用来访问APIServer 的 Secret， Pod会默认使用这个 Secret 与 APIServer 通信，并且会自动挂载到 Pod 的 /run/secrets/kubernetes.io/serviceaccount 目录中

② opaque

base64 编码格式的 Secret，用来存储用户自定义的密码、密钥等，默认的Secret 类型

③ kubernetes.io/dockerconfigjson

用来存储私有 docker registry 的认证信息

④ kubernetes.io/tls

用于为ssl通信模式存储证书和私钥文件，是命令式创建的类型标识符为tls

3.secret的三种参数

① tls

仅用于存储私钥和证书

② docker-registry

若要保存docker仓库的认证信息的话，就必须使用此种类型来创建

③ generic

通常用于存储密码数据——通用类型

4.Pod 的3种方式来使用secret

（1）作为挂载到一个或多个容器上的卷 中的文件

（2）作为容器的环境变量

（3）由 kubelet 在为 Pod 拉取镜像时使用

应用场景:凭据

https://kubernetes.io/docs/concepts/configuration/secret/

5.Secret创建及案例

（1）创建Secret

① 用kubectl create secret命令创建Secret

echo -n 'zhangsan' > username.txt
echo -n 'abc1234' > password.txt
1
2

kubectl create secret generic mysecret --from-file=username.txt --from-file=password.txt
1

kubectl get secrets
NAME                  TYPE                                  DATA   AGE
default-token-v8wbs   kubernetes.io/service-account-token   3      33d
mysecret              Opaque                                2      11s


1
2
3
4
5
6

kubectl describe secret mysecret
NAME                  TYPE                                  DATA   AGE
default-token-v8wbs   kubernetes.io/service-account-token   3      33d
mysecret              Opaque                                2      11s
[root@master01 ~]# kubectl describe secret mysecret 
Name:         mysecret
Namespace:    default
Labels:       
Annotations:  

Type:  Opaque

Data
====
password.txt:  7 bytes
username.txt:  8 bytes
#get或describe指令都不会展示secret的实际内容，这是出于对数据的保护的考虑
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

② 内容用 base64 编码，创建Secret

echo -n zhangsan | base64

emhhbmdzYW4=
1
2
3

echo -n abc1234 | base64

YWJjMTIzNA==
1
2
3

vim secret.yaml

apiVersion: v1
kind: Secret
metadata:
  name: mysecret1
type: Opaque
data:
  username: emhhbmdzYW4=
  password: YWJjMTIzNA==
1
2
3
4
5
6
7
8
9
10

kubectl create -f secret.yaml 
1

kubectl get secrets
NAME                  TYPE                                  DATA   AGE
default-token-v8wbs   kubernetes.io/service-account-token   3      33d
mysecret              Opaque                                2      4m57s
mysecret1             Opaque                                2      14s

1
2
3
4
5
6

kubectl get secret mysecret1 -o yaml
1

（2）使用Secret方式

① 将Secret 挂载到 Volume 中，以 Volume 的形式挂载到 Pod 的某个目录下

不止一个pod可以挂

vim secret-test.yaml

apiVersion: v1
kind: Pod
metadata:
  name: mypod
spec:
  containers:
  - name: nginx
    image: nginx
    volumeMounts:
    - name: secrets
      mountPath: "/etc/secrets"
      readOnly: true
  volumes:
  - name: secrets
    secret:
      secretName: mysecret
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

kubectl create -f secret-test.yaml
1

kubectl get pods
NAME         READY   STATUS    RESTARTS   AGE
mypod                                     1/1     Running             0          32s
1
2
3

kubectl exec -it mypod bash
 # cd /etc/secrets/
 # ls
password.txt  username.txt
 # cat username.txt 
 # cat password.txt  
1
2
3
4
5
6

② 将 Secret 导出到环境变量中调用

vim secret-test1.yaml

apiVersion: v1
kind: Pod
metadata:
  name: mypod1        
spec:
  containers:
  - name: nginx
    image: nginx
    env:
      - name: TEST_USER
        valueFrom:
          secretKeyRef:      #调用，此处调用的是kubectl get secret创建出来的mysecret1
            name: mysecret1
            key: username
      - name: TEST_PASSWORD
        valueFrom:
          secretKeyRef:
            name: mysecret1
            key: password
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

kubectl apply -f secret-test1.yaml 
1

kubectl get pods
NAME         READY   STATUS    RESTARTS   AGE
mypod1       1/1     Running   0          77s
1
2
3

kubectl exec -it mypod1 bash
 # echo $TEST_USER
zhangsan
 # echo $TEST_PASSWORD
abc1234
1
2
3
4
5

二.ConfigMap

1.ConfigMap概念

与Secret类似，区别在于configMap保存的是不需要加密配置的信息。

2.ConfigMap功能及应用场景

（1）ConfigMap 功能在 Kubernetes1.2 版本中引入，许多应用程序会从配置文件、命令行参数或环境变量中读取配置信息。

ConfigMap API给我们提供了向容器中注入配置信息的机制，ConfigMap 可以被用来保存单个属性，也可以用来保存整个配置文件或者JSON二进制大对象。

（2）应用场景: 应用配置

配置文件可用这种形式（例如nginx.conf\apache等配置文件）

3.ConfigMap创建及案例

（1）创建ConfigMap

导入配置文件方式
#导入nginx.conf配置文件
kubectl create configmap nginx-config -h（不会后面的参数可以使用h）查看
kubectl create configmap nginx-config --from-file=nginx.conf
1
2
3
4

kubectl get cm
1

#可查看详细数据
kubectl describe cm nginx-config
1
2

① 使用目录创建

mkdir /opt/configmap/
1

vim /opt/configmap/game.properties

enemies=aliens
lives=3
enemies.cheat=true
enemies.cheat.level=noGoodRotten
secret.code.passphrase=UUDDLRLRBABAS
secret.code.allowed=true
secret.code.lives=30
1
2
3
4
5
6
7
8
9

vim /opt/configmap/ui.properties

color.good=purple
color.bad=yellow
allow.textmode=true
how.nice.to.look=fairlyNice
1
2
3
4
5
6

ls /opt/configmap/

game.properties
ui.properties
1
2
3
4

#--from-file 指定在目录下的所有文件都会被用在 ConfigMap 里面创建一个键值对，键的名字就是文件名，值就是文件的内容
kubectl create configmap game-config --from-file=/opt/configmap/
1
2

kubectl get cm
NAME          DATA   AGE
game-config   2      10s
1
2
3

kubectl get cm game-config -o yaml

apiVersion: v1
data:
  game.properties: |
    enemies=aliens
    lives=3
    enemies.cheat=true
    enemies.cheat.level=noGoodRotten
    secret.code.passphrase=UUDDLRLRBABAS
    secret.code.allowed=true
    secret.code.lives=30
  ui.properties: |
    color.good=purple
    color.bad=yellow
    allow.textmode=true
    how.nice.to.look=fairlyNice
kind: ConfigMap
metadata:
  creationTimestamp: 2021-05-25T06:49:18Z
  name: game-config
  namespace: default
  resourceVersion: "87803"
  selfLink: /api/v1/namespaces/default/configmaps/game-config
  uid: 541b5302-bd25-11eb-acba-000c29d88bba
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

② 使用文件创建

只要指定为一个文件就可以从单个文件中创建 ConfigMap
–from-file 这个参数可以使用多次，即可以使用两次分别指定上个实例中的那两个配置文件，效果就跟指定整个目录是一样的

kubectl create configmap game-config-2 --from-file=/opt/configmap/game.properties --from-file=/opt/configmap/ui.properties
1

kubectl get configmaps game-config-2 -o yaml
1

kubectl describe cm game-config-2
1

③ 使用字面值创建

使用文字值创建，利用 --from-literal 参数传递配置信息，该参数可以使用多次，格式如下

kubectl create configmap special-config --from-literal=special.how=very --from-literal=special.type=good
1

kubectl get configmaps special-config -o yaml

apiVersion: v1
data:
  special.how: very					#key-value 结构
  special.type: good
kind: ConfigMap
metadata:
  creationTimestamp: 2023-10-10T06:08:45Z
  name: special-config
  namespace: default
  resourceVersion: "26930"
  selfLink: /api/v1/namespaces/default/configmaps/special-config
  uid: 8ec8337f-9040-4ff3-9ac2-10da638960f9
1
2
3
4
5
6
7
8
9
10
11
12
13
14

kubectl delete cm --all
kubectl delete pod --all
1
2

• 例子：

vim index.html
this is phuket

kubectl create cm web-blue --from-file=index.html
kubectl get cm
1
2
3
4
5

kubectl describe cm web-blue
1

调用方式

vim web-blue.yaml 

apiVersion: v1
kind: Pod
metadata:
  name: mypod-cm-web
  labels:
    run: myapp-cm-web
spec:
  volumes:
  - name: web-cm
    configMap:
      name: web-blue
  containers:
  - name: myapp-cm-web
    image: soscscs/myapp:v1
    ports:
    - containerPort: 80
    volumeMounts:
    - name: web-cm
      mountPath: /usr/share/nginx/html
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

kubectl apply -f web-blue.yaml
kubectl get pod
1
2

kubectl get pod -owide
NAME                                      READY   STATUS              RESTARTS   AGE   IP             NODE     NOMINATED NODE   READI
mypod-cm-web                              1/1     Running             0          99s   10.244.2.179   node01              
1
2
3

curl 10.244.2.16
this is phuket
1
2

• 配置nginx文件持久化，（解决了重启容器之后或者删除再新建），配置文件持久化（可以做redis等服务都可做）

（2）Pod 中使用 ConfigMap

① 使用 ConfigMap 来替代环境变量

vim env.yaml

apiVersion: v1
kind: ConfigMap
metadata:
  name: special-config
  namespace: default
data:
  special.how: very
  special.type: good
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: env-config
  namespace: default
data:
  log_level: INFO
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

kubectl create -f env.yaml 
1

kubectl get cm
NAME             DATA   AGE
env-config       1      6s
special-config   2      6s
1
2
3
4

#Pod的创建
vim test-pod.yaml

apiVersion: v1
kind: Pod
metadata:
  name: test-pod
spec:
  containers:
  - name: busybox
    image: busybox:1.28.4
    command: [ "/bin/sh", "-c", "env" ]
    env:
      - name: SPECIAL_HOW_KEY
        valueFrom:
          configMapKeyRef:
            name: special-config
            key: special.how
      - name: SPECIAL_TYPE_KEY
        valueFrom:
          configMapKeyRef:
            name: special-config
            key: special.type
    envFrom:
      - configMapRef:
          name: env-config
  restartPolicy: Never
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

kubectl create -f test-pod.yaml
1

kubectl get pods
1

kubectl logs test-pod

KUBERNETES_SERVICE_PORT=443
KUBERNETES_PORT=tcp://10.96.0.1:443
HOSTNAME=pod-test
SHLVL=1
SPECIAL_HOW_KEY=very			#赋值变量 SPECIAL_HOW_KEY 的值为 special-config 的 special.how: very
HOME=/root
SPECIAL_TYPE_KEY=good			#赋值变量 SPECIAL_TYPE_KEY 的值为 special-config 的 special.type: good
KUBERNETES_PORT_443_TCP_ADDR=10.96.0.1
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
KUBERNETES_PORT_443_TCP_PORT=443
KUBERNETES_PORT_443_TCP_PROTO=tcp
log_level=INFO					#引入 env-config 的变量 log_level: INFO
KUBERNETES_PORT_443_TCP=tcp://10.96.0.1:443
KUBERNETES_SERVICE_PORT_HTTPS=443
KUBERNETES_SERVICE_HOST=10.96.0.1
PWD=/
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

② 用 ConfigMap 设置命令行参数

vim test-pod2.yaml

apiVersion: v1
kind: Pod
metadata:
  name: test-pod2
spec:
  containers:
  - name: busybox
    image: busybox:1.28.4
    command: 
	- /bin/sh
	- -c
	- echo "$(SPECIAL_HOW_KEY) $(SPECIAL_TYPE_KEY)"
    env:
      - name: SPECIAL_HOW_KEY
        valueFrom:
          configMapKeyRef:
            name: special-config
            key: special.how
      - name: SPECIAL_TYPE_KEY
        valueFrom:
          configMapKeyRef:
            name: special-config
            key: special.type
    envFrom:
      - configMapRef:
          name: env-config
  restartPolicy: Never
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

kubectl create -f test-pod2.yaml
1

kubectl get pods
NAME        READY   STATUS      RESTARTS   AGE
test-pod2   0/1     Completed   0          34s
1
2
3

kubectl logs test-pod2

very good
1
2
3

③ 通过数据卷插件使用ConfigMap

在数据卷里面使用 ConfigMap，就是将文件填入数据卷，在这个文件中，键就是文件名，键值就是文件内容

vim test-pod3.yaml

apiVersion: v1
kind: Pod
metadata:
  name: test-pod3
spec:
  containers:
  - name: busybox
    image: busybox:1.28.4
    command: [ "/bin/sh", "-c", "sleep 36000" ]
    volumeMounts:
    - name: config-volume
      mountPath: /etc/config
  volumes:
    - name: config-volume
      configMap:
        name: special-config
  restartPolicy: Never
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

kubectl create -f test-pod3.yaml 
1

kubectl get pods
NAME        READY   STATUS      RESTARTS   AGE
test-pod3   1/1     Running     0          5s
1
2
3

kubectl exec -it test-pod3 sh
 # cd /etc/config/
 # ls
special.how   special.type
 # cat special.how 
 # cat special.type 
1
2
3
4
5
6

④ ConfigMap 的热更新

相关标签查看可用命令

kubectl api-resources

#ConfigMap 的热更新（如果少加参数可以在外面直接热更新）
vim test-pod4.yaml

apiVersion: v1
kind: ConfigMap
metadata:
  name: log-config
  namespace: default
data:
  log_level: INFO
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-nginx
spec:
  replicas: 1
  selector:
    matchLabels:
      app: my-nginx
  template:
    metadata:
      labels:
        app: my-nginx
    spec:
      containers:
      - name: my-nginx
        image: nginx
        ports:
        - containerPort: 80
        volumeMounts:
        - name: config-volume
          mountPath: /etc/config
      volumes:
        - name: config-volume
          configMap:
            name: log-config
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

kubectl apply -f test-pod4.yaml
1

kubectl get pods 
NAME                        READY   STATUS    RESTARTS   AGE
my-nginx-c6df7db54-j75wg                  1/1     Running             0          19s
1
2
3

kubectl exec -it my-nginx-c6df7db54-j75wg -- cat /etc/config/log_level
#输出结果为以下
INFO
1
2
3

kubectl edit configmap log-config
apiVersion: v1
data:
  log_level: DEBUG		#INFO 修改成 DEBUG
kind: ConfigMap
metadata:
  annotations:
    kubectl.kubernetes.io/last-applied-configuration: |
      {"apiVersion":"v1","data":{"log_level":"DEBUG"},"kind":"ConfigMap","metadata":{"annotations":{},"name":"log-config","namespace":"default"}}  #INFO 修改成 DEBUG
  creationTimestamp: "2023-09-26T13:44:58Z"
  name: log-config
  namespace: default
  resourceVersion: "28804"
  selfLink: /api/v1/namespaces/default/configmaps/log-config
  uid: e94e89ab-4a43-4285-bb3b-12e22d5c237b
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

#等大概10秒左右，使用该 ConfigMap 挂载的 Volume 中的数据同步更新 
kubectl exec -it my-nginx-c6df7db54-j75wg -- cat /etc/config/log_level
#输出结果为以下
DEBUG
1
2
3
4

⑤ ConfigMap 更新后滚动更新 Pod

更新 ConfigMap 目前并不会触发相关 Pod 的滚动更新，可以通过在 .spec.template.metadata.annotations 中添加 version/config ，每次通过修改 version/config 来触发滚动更新

#少加参数在外面直接热更新
kubectl patch deployment my-nginx --patch '{"spec": {"template": {"metadata": {"annotations": {"version/config": "20210525" }}}}}'
1
2

kubectl get pods 
NAME                        READY   STATUS              RESTARTS   AGE
my-nginx-699bf56d57-hrwfl          1/1     Running       0          19s
my-nginx-c6df7db54-j75wg           0/1     Terminating   0          5m30s
1
2
3
4

kubectl get pods 
NAME                        READY   STATUS    RESTARTS   AGE
my-nginx-699bf56d57-hrwfl                 1/1     Running             0          55s
1
2
3

PS：更新 ConfigMap 后：
●使用该 ConfigMap 挂载的 Env 不会同步更新。
●使用该 ConfigMap 挂载的 Volume 中的数据需要一段时间（实测大概10秒）才能同步更新。

三、总结

1.secret三种类型

（1）Opaque：通用类型（通过文件、目录、变量创建）——默认的类型

（2）kubernetes.io/service-account-token：k8s自动创建的，给serviceaccount服务账户（pod在K8S集群内部的专属服务用户）访问挨批server使用

（3）kubernetes.io/dockerconfigjson（docker-registry）：给K8S从harbor私有镜像仓储拉取镜像认证使用

2.创建secret资源

（1）kubectl create secret generic --from-file=文件——指定文件，还可以多次使用指定多个文件目录，应用目录中的所有文件

——from-literal-键值对（key-value）引用一个键值对，也可以引用多次

（2）kubectl create secret tls --cert=证书文件
–key=私有文件

（3）kubectl create secret docker-registry

3.secret资源使用

（1）挂载的方式

volumes：定义类型为secret的存储卷

volumeMounts：把存储卷挂载到容器目录，secret资源数据中的，键将以文件名的形式显示，值为文件内容

（2）容器的环境量的方式

env：定义容器的环境变量

使用value From，secretKeyRef，name指定secret资源名称，valueFrom，secretKeyRef

，key指定secret资源数据的键名，从而确定引用哪个键的值

（3）K8s从harbor等私有仓库拉取镜像时使用

imagePull secret指定Kubernetes.io/dockerconfigjson类型的secret来作为连接私有仓库的认证信息

4.configMap cm

（1）创建 cm 资源

kubectl create cm --from-flie=文件/目录

                  --from-literal=KEY=VALUE
1
2
3

#查看资源中的数据都是以明文的格式显示key的值
kubectl describe cm 或者kubectl get cm -o yaml
1
2

（2）cm资源使用

容器环境变量的方式

env：需要另外自定义环境变量名，通过指定的cm资源名称和key，名称来给这个变量来赋值

envFrom：不需要另外自定义环境变量名，直接是要cm资源的key作为容器中的环境变量名，value作为这个环境变量的值。z

（3）挂载的方式

volume 定义类型，configMap的存储卷

volumeMounts：把存储卷挂载到容器目录，cm资源数据中的键将以文件名的形式显示，值为文件内容，如果把存储卷挂载成容器中的文件，subPath指定文件名

（4）cm资源热更新

更新，资源的数据，可以同步更新，通过volume挂载的使用cm配置的pod资源中的配置，如果使用env或envFrom方式引用cm资源，则不会同步更新pod资源中的配置

（5）secret概念

保存密码，密钥文件，token字符串之类的敏感数据

通过kubectl describe 或者kubectl get -oyaml查看是看不到实际的内容，内容是通过bases 64编码格式

（6）configMap概念

保存配置文件，环境变量，命令行参数之类的不需要加密的信息，查看时是以明文的显示内容，他们的数据都是以 键值对 的方式保存。

仓库拉取镜像时使用

imagePull secret指定Kubernetes.io/dockerconfigjson类型的secret来作为连接私有仓库的认证信息