本地搭建K8S开发环境

有时候我们需要在本地搭建一个开发测试环境，这个环境可能会包括很多不同的软件组件，例如Kafka, PG, Redis之类的。利用Kubernetes我们可以很方便的搭建一个环境，并把这些需要的组件部署到环境上面去。这里我选择在本地安装minikube，然后快速地创建一个k8s集群。具体minikube的安装很简单，直接参考官网的介绍即可。

下面我们部署一些常用的组件到这个K8S环境中去。

Kafka

首先我们先部署一个Kafka。先定义一个名为kafka的namespace，新建一个名为00-namespace.yaml文件，内容如下：

apiVersion: v1
kind: Namespace
metadata:
  name: "kafka"
  labels:
    name: "kafka"

运行kubectl apply -f 00-namespace.yaml进行部署。

下一步就是部署一个zookeeper，创建一个名为01-zookeeper.yaml，内容如下：

apiVersion: v1
kind: Service
metadata:
  labels:
    app: zookeeper-service
  name: zookeeper-service
  namespace: kafka
spec:
  type: NodePort
  ports:
    - name: zookeeper-port
      port: 2181
      nodePort: 30181
      targetPort: 2181
  selector:
    app: zookeeper
---
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: zookeeper
  name: zookeeper
  namespace: kafka
spec:
  replicas: 1
  selector:
    matchLabels:
      app: zookeeper
  template:
    metadata:
      labels:
        app: zookeeper
    spec:
      containers:
        - image: wurstmeister/zookeeper
          imagePullPolicy: IfNotPresent
          name: zookeeper
          ports:
            - containerPort: 2181

运行kubectl apply -f 01-zookeeper.yaml进行部署

运行kubectl get service -n kafka，可以查看刚才成功创建的zookeeper-service的状态

之后就可以部署kafka了，创建一个名为02-kafka.yaml，内容如下，其中的KAFKA_ZOOKEEPER_CONNECT的环境变量设置为刚才创建的zookeeper-service的IP和端口：

apiVersion: v1
kind: Service
metadata:
  labels:
    app: kafka-broker
  name: kafka-service
  namespace: kafka
spec:
  ports:
  - port: 9092
  selector:
    app: kafka-broker
---
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: kafka-broker
  name: kafka-broker
  namespace: kafka
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kafka-broker
  template:
    metadata:
      labels:
        app: kafka-broker
    spec:
      hostname: kafka-broker
      containers:
      - env:
        - name: KAFKA_BROKER_ID
          value: "1"
        - name: KAFKA_ZOOKEEPER_CONNECT
          value: $(ZOOKEEPER_SERVICE_SERVICE_HOST):$(ZOOKEEPER_SERVICE_SERVICE_PORT)
        - name: KAFKA_LISTENERS
          value: PLAINTEXT://:9092
        - name: KAFKA_ADVERTISED_LISTENERS
          value: PLAINTEXT://kafka-broker:9092
        image: wurstmeister/kafka
        imagePullPolicy: IfNotPresent
        name: kafka-broker
        ports:
        - containerPort: 9092

运行kubectl apply -f 02-kafka.yaml进行部署。

运行kubectl get pods -n kafka，可以看到kafka和zookeeper两个pod都能正常运行。在以上的kafka的yaml文件中，我们配置了一个kafka_advertised_listeners，里面指定了kafka-broker:9092，这个是用于kafka和zookeeper之间互相通信的。我们需要在本地的/etc/hosts里面加上一条记录127.0.0.1 kafka-broker

下面我们可以测试一下kafka是否能正常工作，运行以下命令把kafka pod的9092端口暴露出来，使得可以通过访问localhost:9092来访问kafka

kubectl port-forward kafka-broker-5c55f544d4-hrgnv 9092 -n kafka

在本地安装一个名为kafkacat的工具，然后运行以下命令，往test的topic发布一条消息：

echo "hello world!" | kafkacat -P -b localhost:9092 -t test

打开另一个终端，运行以下命令，可以成功接收test主题的消息：

kafkacat -C -b localhost:9092 -t test

由此可见我们已经成功把kafka部署到k8s了

Redis

修改一下刚才的00-namespace.yaml文件，增加一个redis的命名空间，内容如下：

apiVersion: v1
kind: Namespace
metadata:
  name: "kafka"
  labels:
    name: "kafka"
---
apiVersion: v1
kind: Namespace
metadata:
  name: "redis"
  labels:
    name: "redis"

和Kafka类似，创建一个名为03-redis.yaml的文件，内容如下：

apiVersion: v1
kind: Service
metadata:
  labels:
    app: redis-master
  name: redis-service
  namespace: redis
spec:
  ports:
  - port: 6379
  selector:
    app: redis-master
---
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: redis-master
  name: redis-master
  namespace: redis
spec:
  replicas: 1
  selector:
    matchLabels:
      app: redis-master
  template:
    metadata:
      labels:
        app: redis-master
    spec:
      hostname: redis-master
      containers:
      - env:
        - name: MASTER
          value: "true"
        image: redis:5.0.4
        imagePullPolicy: IfNotPresent
        name: redis-master
        ports:
        - containerPort: 6379
        resources:
          limits:
            cpu: "0.1"

运行kubectl apply -f 03-redis.yaml进行部署

部署之后，我们可以运行指令kubectl exec -it --namespace=redis redis-master-5989578dfd-gnnfh -- redis-cli进入redis pod，然后可以输入指令set "product" "test"设置一个key为product，value为test的键值对，然后再输入get "product"，可以正确的获取到value test

Postgresql

接下来是部署PG数据库，考虑到数据库是一个有状态的应用，当数据库的Pod出现问题失败时，K8S会自动调度一个新的Pod，但是我们不能丢失原有的数据，因此需要把数据库的文件存储在一个host path类型的volume

因为minikube本身也是作为一个docker镜像运行的，因此需要把本地的文件目录mount到minikube里面，这样才能通过hostpath的方式来使用，例如以下的命令：

minikube start --mount --mount-string="/home/roy/data/k8s_pg:/minikubeContainer/pg_data"

建立一个名为04-postgresql.yaml文件，内容如下：

apiVersion: v1
kind: Service
metadata:
  name: postgresql-service
  labels:
    app: postgresql
  namespace: postgresql
spec:
  ports:
    - port: 5432
      targetPort: pg
  selector:
    app: postgresql
    tier: pg
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: postgresql
  labels:
    app: postgresql
  namespace: postgresql
spec:
  selector:
    matchLabels:
      app: postgresql
      tier: pg
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: postgresql
        tier: pg
    spec:
      volumes:
        - name: pgvolume
          hostPath:
            path: /data
            type: Directory
      containers:
      - image: postgres:12
        name: pg12
        env:
        - name: POSTGRES_DB
          valueFrom:
            configMapKeyRef:
              name: cv-configmap
              key: POSTGRES_DB
        - name: POSTGRES_USER
          valueFrom:
            secretKeyRef:
              name: cv-secret
              key: POSTGRES_USER
              optional: false
        - name: POSTGRES_PASSWORD
          valueFrom:
            secretKeyRef:
              name: cv-secret
              key: POSTGRES_PASSWORD
              optional: false
        ports:
        - containerPort: 5432
          name: pg
        volumeMounts:
        - name: pgvolume
          mountPath: /var/lib/postgresql/data

在这里用到了configmap和secretmap来配置Postgres的环境变量。我们可以在一个kustomization.yaml文件里面来创建这些环境变量，并且把之前创建的这些deployments组合在一起，这样就不用每次都分别创建deployment了。内容如下：

configMapGenerator:
- name: cv-configmap
  envs:
  - cv.env
  namespace: postgresql
secretGenerator:
- name: cv-secret
  literals:
    - POSTGRES_USER=postgres
    - POSTGRES_PASSWORD=postgres
  namespace: postgresql
resources:
- 00-namespace.yaml
- 01-zookeeper.yaml
- 02-kafka.yaml
- 03-redis.yaml
- 04-postgresql.yaml

我们可以用kubectl delete deployment把之前创建的deployment删掉，然后执行kubectl apply -k kustomizationdirectory/的命令来进行部署。