prometheus day07

部署pushgateway组件
    1)解压pushgateway组件
tar xf pushgateway-1.4.3.linux-amd64.tar.gz -C /oldboyedu/softwares/

    2)启动pushgateway
/oldboyedu/softwares/pushgateway-1.4.3.linux-amd64/pushgateway
 
    3)测试数据
echo "SCHOOL 20220905" | curl --data-binary @-  http://10.0.0.101:9091/metrics/job/oldboyedu-test/instance/test01

    4)验证数据
http://10.0.0.101:9091/

    5)编写脚本监控指标来发送数据(生产环境建议用脚本传递数据，因为可以封装很多业务逻辑)
cat > oldboyedu_tcp_conn.sh < #!/bin/bash

INSTANCE_NAME=`hostname -s`

if [ $INSTANCE_NAME == "localhost" ]
    then
        echo "Must FQDN hostname"
        exit
fi

METRICS_NAME="oldboyedu_linux_tcp_conn"

OLDBOYEDU_TCP_CONN_NUMBER=`netstat -an| grep -i connected  | wc -l`

echo "$METRICS_NAME $OLDBOYEDU_TCP_CONN_NUMBER" | curl --data-binary @- \
      http://10.0.0.101:9091/metrics/job/oldboyedu_linux82/instance/$INSTANCE_NAME
EOF
sh oldboyedu_tcp_conn.sh

使用prometheus监控pushgateway组件
    1)修改prometheus的配置文件，监控pushgateway
vim prometheus.yml 
...
scrape_configs:
  ...
  - job_name: "oldboyedu-linux82-pushgateway"
    static_configs:
    - targets: ["10.0.0.101:9091"]

    
    
    2)启动prometheus服务器
cd /oldboyedu/softwares/prometheus/prometheus-2.36.0.linux-amd64/
./prometheus 

    3)验证数据
查询"SCHOOL"的KEY观察是否有数据。    
    
    

docker run -dp 9093:9093 --restart always --name oldboyedu_alertmanager prom/alertmanager:v0.24.0    

cat > /etc/alertmanager/alertmanager.yml <<'EOF'
global:
  resolve_timeout: 5m
  smtp_from: '1580398861@qq.com'
  smtp_smarthost: 'smtp.qq.com:465'
  smtp_auth_username: '1580398861@qq.com'
  smtp_auth_password: 'oxuhtdyjppgmichj'
  smtp_require_tls: false
  smtp_hello: 'qq.com'
route:
  group_by: ['alertname']
  group_wait: 5s
  group_interval: 5s
  repeat_interval: 5m
  receiver: 'email'
receivers:
- name: 'email'
  email_configs:
  - to: '1580398861@qq.com'
    send_resolved: true
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']
EOF

OCI:
    容器制作的提议规范。
    
CRI:
    在K8S集群上运行的容器需要符合的CRI标准，只要满足该标准，就可以在K8S集群上运行。

CNI:
    容器网络接口，凡是符合这种接口的组件，都可以实现跨主机节点通信。
    
    

Scheduler:
    kube-scheduler根据调度算法为新创建的Pod选择一个Node节点，可以任意部署，可以部署在同一个节点上，也可以部署在不同的节点上。
            
Controller Manager:
    Kube-controller-manager，处理集群中常规后台任务，一个资源对应一个控制器，而ControllerManager就是负责管理这些控制器的。

Cloud Controller Manager:
    用在云平台上的Kube-controller-manager组件。如果我们直接在物理机上部署的话，可以不使用该组件。

API Server:
    kube-apiserver，集群的统一入口，各组件协调者，以RESTFUL API提供接口服务，所有对象资源的增删改查和监听操作都交给APIServer处理后再提交给etcd存储。

Etcd:
    分布式键值存储系统，用于保存集群状态元数据信息，比如Pod，Service等对象信息。这个数据库是可以单独拿出来部署，只需要API server可以连接到该分布式数据库集群即可。
    

kubelet:
    可以理解为Master在工作节点上的Agent，管理本机运行容器的生命周期，比如创建容器，Pod挂载数据卷，下载secret，获取容器的节点状态等工作。kubelet将每一个Pod转换成一组容器。
        
kube-proxy:
    在工作节点上实现Pod网络代理，维护网络规则和四层负载均衡工作。换句话说，就是用于负责Pod网络路由，用于对外提供访问的实现。可以找到你关心的项目所在的pod节点。

POD:
    用户划分容器的最小单位，一个POD可以存在多个容器。
    
docker/rocket(rkt，已停止支持):
    容器引擎，用于运行容器。
    
    
参考链接:
    https://kubernetes.io/zh/docs/concepts/overview/components/

K8S环境部署: ---> 所有节点操作
    1.虚拟机操作系统环境准备
参考链接:
    https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/

    2.关闭swap分区
        1)临时关闭
swapoff -a && sysctl -w vm.swappiness=0
        2)基于配置文件关闭
sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab

    3.确保各个节点MAC地址或product_uuid唯一
ifconfig  eth0  | grep ether | awk '{print $2}'
cat /sys/class/dmi/id/product_uuid 

    温馨提示:
        一般来讲，硬件设备会拥有唯一的地址，但是有些虚拟机的地址可能会重复。 
        Kubernetes使用这些值来唯一确定集群中的节点。 如果这些值在每个节点上不唯一，可能会导致安装失败。

    4.检查网络节点是否互通
简而言之，就是检查你的k8s集群各节点是否互通，可以使用ping命令来测试。

    5.允许iptable检查桥接流量
cat < br_netfilter
EOF

cat < net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system

    6.检查端口是否被占用
参考链接: https://kubernetes.io/zh/docs/reference/ports-and-protocols/

    7.检查docker的环境    
参考链接:
    https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.15.md#unchanged
    
        1)配置docker源
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
curl -o /etc/yum.repos.d/docker-ce.repo https://download.docker.com/linux/centos/docker-ce.repo
sed -i 's+download.docker.com+mirrors.tuna.tsinghua.edu.cn/docker-ce+' /etc/yum.repos.d/docker-ce.repo
yum list docker-ce --showduplicates

        2)安装指定的docker版本
yum -y install docker-ce-18.09.9 docker-ce-cli-18.09.9
yum -y install bash-completion
source /usr/share/bash-completion/bash_completion

        3)打包软件包分发到其他节点部署docker（此步骤可跳过）
mkdir docker-rpm-18-09 && find /var/cache/yum -name "*.rpm" | xargs mv -t docker-rpm-18-09/

    温馨提示: （其他节点快速部署即可）
wget http://192.168.11.253/Docker/day07-/softwares/oldboyedu-docker1809.tar.gz
tar xf oldboyedu-docker1809.tar.gz && cd docker-rpm-18-09/ && yum -y localinstall *.rpm 
source /usr/share/bash-completion/bash_completion

        4)配置docker优化
mkdir -pv /etc/docker && cat < {
  "insecure-registries": ["k8s151.oldboyedu.com:5000"],
  "registry-mirrors": ["https://tuv7rqqq.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
    
        5)配置docker开机自启动
systemctl enable --now docker && systemctl status docker

    8.禁用防火墙
systemctl disable --now firewalld

    9.禁用selinux
sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config 
grep ^SELINUX= /etc/selinux/config

    10.配置host解析
cat >> /etc/hosts <<'EOF'
10.0.0.151        k8s151.oldboyedu.com
10.0.0.152        k8s152.oldboyedu.com
10.0.0.153        k8s153.oldboyedu.com
EOF
cat /etc/hosts

    11.在k8s151.oldboyedu.com节点启用docker registry的私有仓库
docker run -d --network host --restart always --name oldboyedu-registry registry:2

所有节点安装kubeadm，kubelet，kubectl  ---> 所有节点
    1.配置软件源
cat  > /etc/yum.repos.d/kubernetes.repo < [kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
EOF

    2.安装kubeadm，kubelet，kubectl软件包
yum -y install kubeadm-1.15.12-0 kubelet-1.15.12-0 kubectl-1.15.12-0 

    3.查看kubeadm的版本（将来你要安装的K8S时请所有组件版本均保持一致!）
yum -y list kubeadm --showduplicates | sort -r

    4.启动kubelet服务(若服务启动失败时正常现象，其会自动重启，因为缺失配置文件，初始化集群后恢复！此步骤可跳过！)
systemctl enable --now kubelet && systemctl status kubelet

    5.温馨提示:（可以将k8s软件打包到其他节点安装哟，前提是得开启rpm包缓存。）
    mkdir k8s-rpm && find /var/cache/yum -name "*.rpm" | xargs mv -t k8s-rpm

参考链接:
    https://kubernetes.io/zh/docs/tasks/tools/install-kubectl-linux/

    温馨提示: (安装K8S快速部署)
wget http://192.168.11.253/Docker/day07-/softwares/oldboyedu-k8s-1_15_12.tar.gz
tar xf oldboyedu-k8s-1_15_12.tar.gz && cd k8s-1_15_12/  && yum -y localinstall *.rpm

初始化master节点:  ---> master ---> k8s151.oldboyedu.com
    (1)使用kubeadm初始化master节点
kubeadm init --kubernetes-version=v1.15.12 --image-repository registry.aliyuncs.com/google_containers  --pod-network-cidr=10.244.0.0/16 --service-cidr=10.254.0.0/16

相关参数说明:
    --kubernetes-version:
        指定K8S master组件的版本号。
        
    --image-repository:
        指定下载k8s master组件的镜像仓库地址。
        
    --pod-network-cidr:
        指定Pod的网段地址。
        
    --service-cidr:
        指定SVC的网段

使用kubeadm初始化集群时，可能会出现如下的输出信息:
[init] 
    使用初始化的K8S版本。
    
[preflight] 
    主要是做安装K8S集群的前置工作，比如下载镜像，这个时间取决于你的网速。

[certs] 
    生成证书文件，默认存储在"/etc/kubernetes/pki"目录哟。

[kubeconfig]
    生成K8S集群的默认配置文件，默认存储在"/etc/kubernetes"目录哟。

[kubelet-start] 
    启动kubelet，
    环境变量默认写入:"/var/lib/kubelet/kubeadm-flags.env"
    配置文件默认写入:"/var/lib/kubelet/config.yaml"

[control-plane]
    使用静态的目录，默认的资源清单存放在:"/etc/kubernetes/manifests"。
    此过程会创建静态Pod，包括"kube-apiserver"，"kube-controller-manager"和"kube-scheduler"

[etcd] 
    创建etcd的静态Pod，默认的资源清单存放在:""/etc/kubernetes/manifests"
    
[wait-control-plane] 
    等待kubelet从资源清单目录"/etc/kubernetes/manifests"启动静态Pod。

[apiclient]
    等待所有的master组件正常运行。
    
[upload-config] 
    创建名为"kubeadm-config"的ConfigMap在"kube-system"名称空间中。
    
[kubelet] 
    创建名为"kubelet-config-1.22"的ConfigMap在"kube-system"名称空间中，其中包含集群中kubelet的配置

[upload-certs] 
    跳过此节点，详情请参考”--upload-certs"
    
[mark-control-plane]
    标记控制面板，包括打标签和污点，目的是为了标记master节点。
    
[bootstrap-token] 
    创建token口令，例如:"kbkgsa.fc97518diw8bdqid"。
    如下图所示，这个口令将来在加入集群节点时很有用，而且对于RBAC控制也很有用处哟。

[kubelet-finalize] 
    更新kubelet的证书文件信息

[addons] 
    添加附加组件，例如:"CoreDNS"和"kube-proxy”
    
    
    (2)拷贝授权文件，用于管理K8S集群
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config    

    (3)查看集群节点
kubectl get cs,no

部署网络插件:
[root@k8s151.oldboyedu.com ~]# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/a70459be0084506e4ec919aa1c114638878db11b/Documentation/kube-flannel.yml

添加自动补全功能:
[root@k8s151.oldboyedu.com ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc && source ~/.bashrc 

今日内容回顾:
    Prometheus:
        - Prometheus Server 
            - 采集数据
            - 存储数据
            - WebUI
        - PushGateway
            - 自定义监控
            - 不支持部署exporter的场景
        - exporters
            - 被监控的目标端
        - Grafana
            - 展示数据
            - 配置文件备份
            - 自定义变量
            - 告警功能
        - alterManager
            - 告警功能

    - Kubernetes
        - Master(Controller Plane)
            - ApiServer
            - Controller Manager
            - Scheduler
            - etcd
        - Node(Worker)
            - kubelet
            - kube-proxy