• K8S:kubectl陈述式及声明式资源管理


    目录

    一.陈述式资源管理方法

    1.陈述式资源管理概念

    2.基本信息查看

    (1)查看版本信息

    ​编辑(2)查看资源对象简写

    (3)查看集群信息

    (4)配置kubectl自动补全

    (5)node节点查看日志

    3.增、删、改、查、扩缩容相关操作

    (1)查看 master 节点状态

    (2)查看命令空间

    (3)查看default命名空间的所有资源

    (4)创建命名空间app

    (5)删除命名空间app

    (6)创建副本控制器

    (7)描述某个资源的详细信息 

    (8)查看命名空间app 中的pod 信息

    (11)强行删除pod

    (12)扩缩容

    (13)删除副本控制器

    4.项目的生命周期:创建——发布——更新——回滚——删除

    (1)创建——kubectl create命令

    (2)发布——kubectl expose命令

    (3)更新——kubectl set命令

    (4)回滚——kubectl rollout 命令

    (5)删除——kubectl delete命令

    5.项目发布方式

    (1)蓝绿发布

    (2)灰度发布 /金丝雀发布

    6.金丝雀发布(Canary Release)

    (1)概念

    (2)相关架构理念及金丝雀发布部署操作

    2.相关操作

    (1)查看资源配置清单

    (2)解释资源配置清单

    (3)修改资源配置清单并应用

    (4)删除资源配置清单


    一.陈述式资源管理方法

    1.陈述式资源管理概念

    (1)kubernetes 集群管理集群资源的唯一入口是通过相应的方法调用 apiserver 的接口
    (2)kubectl 是官方的CLI命令行工具,用于与 apiserver 进行通信,将用户在命令行输入的命令,组织并转化为 apiserver 能识别的信息,进而实现管理 k8s 各种资源的一种有效途径
    (3)kubectl 的命令大全

    kubectl --help
    

    k8s中文文档:http://docs.kubernetes.org.cn/683.html
    (4)对资源的增、删、查操作比较方便,但对改的不容易操作

    2.基本信息查看

    (1)查看版本信息

    kubectl version

    (2)查看资源对象简写

    kubectl api-resources
    

    (3)查看集群信息

    kubectl cluster-info
    

    (4)配置kubectl自动补全

    1. source <(kubectl completion bash)
    2. 永久添加自动补全
    3. vim /etc/bashrc ##G到行尾添加
    4. source <(kubectl completion bash)
    5. bash

    (5)node节点查看日志

    journalctl -u kubelet -f
    

    3.增、删、改、查、扩缩容相关操作

    命令操作格式:

    kubectl get <resource> [-o wide|json|yaml] [-n namespace]
    

    注释:

    ①获取资源的相关信息,-n 指定命令空间,-o 指定输出格式
    ②resource可以是具体资源名称,如pod nginx-xxx;也可以是资源类型,如pod;或者all(仅展示几种核心资源,并不完整)
    ③–all-namespaces 或 -A :表示显示所有命令空间,
    ④–show-labels :显示所有标签
    ⑤-l app :仅显示标签为app的资源
    ⑥-l app=nginx :仅显示包含app标签,且值为nginx的资源

    (1)查看 master 节点状态

    1. kubectl get componentstatuses
    2. kubectl get cs

    (2)查看命令空间

    命令空间的作用:用于允许不同 命令空间 的 相同类型 的资源 重名的

    1. kubectl get namespace
    2. kubectl get ns

    (3)查看default命名空间的所有资源

    1. #不加-n默认的是default命名空间
    2. kubectl get all [-n default]

    (4)创建命名空间app

    1. kubectl create ns app
    2. kubectl get ns

    (5)删除命名空间app

    1. kubectl delete namespace app
    2. kubectl get ns

    (6)创建副本控制器

    在命名空间kube-public 创建副本控制器(deployment)来启动Pod(nginx-wl)

    1. kubectl create deployment nginx-wl --image=nginx -n kube-public
    2. #检查部署的状态和Pod数量
    3. kubectl get deployment nginx-wl -n kube-public
    4. #命名空间中的所有资源
    5. kubectl get all -n kube-public

    (7)描述某个资源的详细信息 

    1. kubectl create ns app
    2. kubectl create deployment nginx-wl --image=nginx -n app
    3. kubectl describe deployment nginx-wl -n app
    4. kubectl get pod -n app
    5. kubectl describe pod nginx-wl-d47f99cb6-hv6gz -n app

    (8)查看命名空间app 中的pod 信息

    1. kubectl get pods -n app
    2. NAME READY STATUS RESTARTS AGE
    3. nginx-wl-67f75b9476-mbdkc 1/1 Running 0 5m41s

    1. #在yaml文件中也可以查看pod信息
    2. kubectl get pods -o yaml

    1. #获取所有命名空间中具有特定标签的 Pod 列表
    2. kubectl get pod -A -l app

    1. #取所有命名空间中的 Pod 列表,并显示它们的标签信息
    2. kubectl get pod --show-labels -A

    1. #展示所有系统资源
    2. kubectl get pod -n kube-system

    1. #具体过滤查看某个资源状态
    2. kubectl get pod -n kube-system | grep etcd-master01

    (11)强行删除pod

    1. #若pod无法删除,总是处于terminate状态,则要强行删除pod
    2. #格式
    3. kubectl delete pod <pod-name> -n <namespace> --force --grace-period=0

    注释:

    grace-period表示过渡存活期,默认30s,在删除pod之前允许POD慢慢终止其上的容器进程,从而优雅退出,0表示立即终止pod

    kubectl delete pod nginx-wl-67f75b9476-9kddk -n app --force --grace-period=0
    

    (12)扩缩容

    扩容不会影响业务,缩容时等业务结束会进行缩容

    1. kubectl scale deployment nginx-wl --replicas=6 -n kube-public # 扩容
    2. kubectl scale deployment nginx-wl --replicas=2 -n kube-public # 缩容

    (13)删除副本控制器

    4.项目的生命周期:创建——发布——更新——回滚——删除

    (1)创建——kubectl create命令

    创建并运行一个或多个容器镜像。
    创建一个deployment 或job 来管理容器。

    kubectl create --help
    
    1. #启动 nginx 实例,暴露容器端口 80,设置副本数 3
    2. kubectl create deployment nginx --image=nginx:1.14 --port=80 --replicas=3
    1. #查看创建信息
    2. kubectl get pods
    3. kubectl get all

    (2)发布——kubectl expose命令

    将资源暴露为新的 Service。

    kubectl expose --help
    
    1. #为deployment的nginx创建service,并通过Service的80端口转发至容器的80端口上,Service的名称为nginx-service,类型为NodePort
    2. kubectl expose deployment nginx --port=80 --target-port=80 --name=nginx-service --type=NodePort
    3. kubectl get svc

    注释:

    Kubernetes 之所以需要 Service,一方面是因为 Pod 的 IP 不是固定的(Pod可能会重建),另一方面则是因为一组 Pod 实例之间总会有负载均衡的需求。
    Service 通过 Label Selector 实现的对一组的 Pod 的访问。
    对于容器应用而言,Kubernetes 提供了基于 VIP(虚拟IP) 的网桥的方式访问 Service,再由 Service 重定向到相应的 Pod。

    service 的 type 类型:
    ClusterIP:提供一个集群内部的虚拟IP以供Pod访问(service默认类型)
    NodePort:在每个Node上打开一个端口以供外部访问,Kubernetes将会在每个Node上打开一个端口并且每个Node的端口都是一样的,通过 NodeIp:NodePort 的方式Kubernetes集群外部的程序可以访问Service。
    每个端口只能是一种服务,端口范围只能是 30000-32767。
    注:生产环境中不会使用,测试使用,每个服务对应的端口多,配置端口会冲突

    LoadBalancer:通过设置LoadBalancer映射到云服务商提供的LoadBalancer地址。这种用法仅用于在公有云服务提供商的云平台上设置Service的场景。通过外部的负载均衡器来访问,通常在云平台部署LoadBalancer还需要额外的费用。
    在service提交后,Kubernetes就会调用CloudProvider在公有云上为你创建一个负载均衡服务,并且把被代理的Pod的IP地址配置给负载均衡服务做后端。

    externalName:将service名称映射到一个DNS域名上,相当于DNS服务的CNAME记录,用于让Pod去访问集群外部的资源,它本身没有绑定任何的资源。

    headless clusterIP 无头模式 : 无service ip,只有名称没有IP地址———使用名称来访问

    1. #查看pod网络状态详细信息和 Service暴露的端口
    2. kubectl get pods,svc -o wide

    1. #查看关联后端的节点
    2. kubectl get endpoints

    1. #查看 service 的描述信息
    2. kubectl describe svc nginx

    1. #在 node01 节点上操作,查看负载均衡端口
    2. yum install ipvsadm -y
    3. ipvsadm -Ln

    1. #外部访问的IP和端口
    2. TCP 172.17.0.1:30001:对外提供服务的 IP 地址为 172.17.0.1,端口为 30001
    3. TCP 172.17.0.1:31128:对外提供服务的 IP 地址为 172.17.0.1,端口为 31128
    4. TCP 192.168.122.1:30001:对外提供服务的 IP 地址为 192.168.122.1,端口为 30001
    5. TCP 192.168.122.1:31128:对外提供服务的 IP 地址为 192.168.122.1,端口为 31128
    6. TCP 192.168.198.12:30001:对外提供服务的 IP 地址为 192.168.198.12,端口为 30001
    7. TCP 192.168.198.12:31128:对外提供服务的 IP 地址为 192.168.198.12,端口为 31128
    8. TCP 10.96.106.130:443:对外提供服务的 IP 地址为 10.96.106.130,端口为 443
    9. TCP 10.96.116.27:80:对外提供服务的 IP 地址为 10.96.116.27,端口为 80
    10. TCP 10.96.119.158:8000:对外提供服务的 IP 地址为 10.96.119.158,端口为 8000
    11. TCP 10.96.165.162:30000:对外提供服务的 IP 地址为 10.96.165.162,端口为 30000
    12. TCP 10.96.213.1:80:对外提供服务的 IP 地址为 10.96.213.1,端口为 80
    1. #pod集群组内部访问的IP和端口
    2. 其他的 IP 地址和端口可以视为集群组内部访问使用的。
    1. #在 node02 节点上操作,同样方式查看负载均衡端口
    2. yum install ipvsadm -y
    3. ipvsadm -Ln

    1. 可以根据IP地址进行分类:
    2. 外部访问的IP和端口:
    3. 所有以 192.16810. 开头的IP地址及其相应的端口。
    4. 内部访问的IP和端口:
    5. 所有以 127.0.0.1172.17.0.1 开头的IP地址及其相应的端口。
    6. 所有以 10.244 开头的IP地址及其相应的端口,这些IP地址是 Kubernetes 集群中 Pod 的IP地址。
    curl 192.168.198.12:31231
    

    1. #在master01操作 查看访问日志
    2. kubectl logs nginx-deployment-6cff9b4c45-l892b

    (3)更新——kubectl set命令

    1. #更改现有应用资源一些信息。
    2. kubectl set --help

    1. #获取修改模板
    2. kubectl set image --help

    1. #查看当前 nginx 的版本号
    2. curl -I http://192.168.198.12:31231
    3. curl -I http://192.168.198.11:31231

    1. #将nginx 版本更新为 1.15 版本
    2. kubectl set image deployment/nginx nginx=nginx:1.15
    3. #处于动态监听 pod 状态,由于使用的是滚动更新方式,所以会先生成一个新的pod,然后删除一个旧的pod,往后依次类推
    4. kubectl get pods -w

    1. #再看更新好后的 Pod 的 ip 会改变
    2. kubectl get pods -o wide

    1. #再看 nginx 的版本号
    2. curl -I http://192.168.198.12:31231
    3. curl -I http://192.168.198.11:31231

    (4)回滚——kubectl rollout 命令

    1. #对资源进行回滚管理
    2. kubectl rollout --help

    1. #查看历史版本
    2. kubectl rollout history deployment/nginx

    1. #执行回滚到上一个版本
    2. kubectl rollout undo deployment/nginx
    1. #检查回滚状态
    2. kubectl rollout status deployment/nginx
    1. #检查回滚状态
    2. kubectl rollout status deployment/nginx
    1. #删除副本控制器
    2. kubectl delete deployment/nginx

    (5)删除——kubectl delete命令

    1. #删除副本控制器
    2. kubectl delete deployment/nginx
    1. #删除service
    2. kubectl delete svc/nginx-service
    3. kubectl get all

    5.项目发布方式

    (1)蓝绿发布

    (1)蓝绿发布
    ①概念:首先将所有的应用服务集群为蓝绿两组,首先将绿组的集群从负载均衡中移除,蓝组则继续对用户提供服务。此时移除的绿组进行服务的升级,等升级完毕后,再从新将绿组接入到负载均衡中为用户提供服务。

    再把蓝组进行移除,进行服务升级,升级完毕后再接入到负载均衡的集群中。此时整个项目集群得进行升级完毕,我们将此称为蓝绿发布

    ②特点:如果出问题,影响范围较大;发布策略简单;用户无感知,平滑过渡;升级/回滚速度快。

    ③缺点:需要准备正常业务使用资源的两倍以上服务器,防止升级期间单组无法承载业务突发;短时间内浪费一定资源成本;基础设施无改动,增大升级稳定性。

    蓝绿发布在早期物理服务器时代,还是比较昂贵的,由于云计算普及,成本也大大降低
     

    1. 总:两套设备,进行新旧版本的切换
    2. 用户无感、业务稳定
    3. 要消耗2倍资源,成本高

    (2)灰度发布 /金丝雀发布

    ①概念:灰度发布又叫金丝雀发布,灰度是指在黑与白之间,能够平滑过渡的一种发布方式

    该过程类似于游戏中的体验服,首先会让一部分用户进行使用测试,如果没什么问题后,会逐步面积推广,彻底替代旧的版本

    ②特点:保证整体系统稳定性,在初始灰度的时候就可以发现、调整问题,影响范围可控;新功能逐步评估性能,稳定性和健康状况,如果出问题影响范围很小,相对用户体验也少;用户无感知,平滑过渡。

    ③缺点:自动化要求高
     

    总:
    蓝绿发布:两套环境交替升级,旧版本保留一定时间便于回滚。

    灰度发布 /金丝雀发布:按照负载均衡部署方式,先更新一部分的pod,然后暂停更新,安排一小部分用户的流量去访问这部分的新的pod进行测试,当测试没问题后再扩大测试比例查到全部更新,根据比例将老版本升级,例如80%用户访问是老版本,20%用户访问是新版本。

    滚动发布:按照比例一部分一部分的滚动更新,k8s默认的更新机制,无创建一定比例的新pod,再删除一定的旧的pod,按批次停止老版本实例,启动新版本实例

    6.金丝雀发布(Canary Release)

    (1)概念

    Deployment控制器支持自定义控制更新过程中的滚动节奏,如“暂停(pause)”或“继续(resume)”更新操作。比如等待第一批新的Pod资源创建完成后立即暂停更新过程,此时,仅存在一部分新版本的应用,主体部分还是旧的版本。然后,再筛选一小部分的用户请求路由到新版本的Pod应用,继续观察能否稳定地按期望的方式运行。确定没问题之后再继续完成余下的Pod资源滚动更新,否则立即回滚更新操作。这就是所谓的金丝雀发布。
     

    总:会有一个对外暴露测试,没有问题再更新剩余的,更新一个对外开放一个

    (2)相关架构理念及金丝雀发布部署操作

    1. #删除之前的pod
    2. kubectl delete deployments.apps nginx-deployment
    3. kubectl get pod

    1. #创建新的资源
    2. kubectl create deployment nginx-summer --image=nginx:1.14 --port=80 --replicas=3
    3. kubectl get pod

    1. #查看详细信息
    2. kubectl describe pod

    1. #另开一个终端进行实时跟踪
    2. kubectl get pod -w

    1. #在原本的终端更新资源类型
    2. kubectl set image deployment nginx-summer nginx=nginx:1.15 && kubectl rollout pause deployment nginx-summer
    3. kubectl get pod
    4. kubectl get all

    1. #监控更新的过程,可以看到已经新增了一个资源,但是并未按照预期的状态去删除一个旧的资源,就是因为使用了pause暂停命令
    2. kubectl get pods -w

    1. #查看详细地址
    2. kubectl get pod -owide

    1. #查看连接并查看版本
    2. curl -I 10.244.1.18
    3. curl -I 10.244.2.11

    这里是将更新的作为测试访问,如何访问以下操作:

    1. #对端口进行外放访问设置
    2. kubectl expose deployment nginx-summer --port=80 --target-port=80 --type=NodePort
    3. #查看设置的内容
    4. kubectl get svc

    1. #浏览器访问测试
    2. http://192.168.198.11:32605/

    1. #查看详细信息
    2. kubectl describe svc nginx-summer

    1. #查看 Kubernetes 集群中的服务端点信息
    2. kubectl get endpoints

    1. #详细信息
    2. kubectl describe endpoints nginx-summer

    1. #金丝雀隔离新的pod测试新的版本是否有问题,给pod做隔离,需要单独的标签
    2. #创建新的pod并给端口
    3. kubectl expose deployment nginx-summer --name=new-nginx-nginx-summer --port=80 --target-port=80 --type=NodePort
    4. kubectl get svc
    5. kubectl get endpoints

    1. #编辑服务对象
    2. kubectl edit svc new-nginx-nginx-summer
    3. 复制里面的文件内容编辑新的yaml文件

    1. #获取 Pod 的列表
    2. kubectl get pod --show-labels
    3. kubectl describe pod nginx-summer-64dcd8d75b-lg2l6
    4. #编辑yaml文件
    5. vim new-nginx-nginx-summer.yaml
    6. #粘贴并加以修改,做标签分离

    1. #删除新的标签
    2. kubectl delete svc new-nginx-nginx-summer
    3. #取当前集群中所有服务对象的列表
    4. kubectl get svc
    5. #创建或更新服务对象
    6. kubectl apply -f new-nginx-nginx-summer.yaml
    7. #再次被执行,目的是获取已经更新后的服务对象列表
    8. kubectl get svc

    1. #访问测试
    2. curl -I 10.96.13.243


    1. #复制旧的yaml配置文件,复制apiVersion: v1—————— type: NodePort
    2. kubectl edit svc nginx-summer
    3. #查看标签,复制标签
    4. kubectl get pod --show-labels

    1. #编辑配置文件,将标签粘贴
    2. vim nginx-summer.yaml

    1. #编辑配置文件,将标签粘贴
    2. vim nginx-summer.yaml

    1. #删除现有的
    2. kubectl delete svc nginx-summer
    3. #查看已删除的
    4. kubectl get svc
    5. #再次新创建
    6. kubectl apply -f nginx-summer.yaml
    7. #查看创建的
    8. kubectl get svc

    1. #获取当前集群中所有的终结点
    2. kubectl get endpoints

    1. #获取当前集群中所有的 Pod 列表
    2. kubectl get pod -owide
    3. #登录新的pod测试
    4. kubectl exec -it nginx-summer-64dcd8d75b-lg2l6 bash

    1. #测试访问
    2. kubectl exec -it nginx-summer-64dcd8d75b-lg2l6 bash
    3. cd /usr/share/nginx/html/
    4. echo "this is blue-update" > index.html
    5. exit

    1. #查看端口,并且浏览器访问
    2. kubectl get svc
    3. #此新的就是给测试更新玩家使用
    4. http://192.168.198.11:32234/

    1. #登录旧1的pod中测试
    2. kubectl get pod
    3. kubectl exec -it nginx-summer-7775bc9d99-7x28n bash
    4. echo "this is web1" >> index.html
    5. exit

    1. #登录旧2的pod中测试
    2. kubectl get pod
    3. kubectl exec -it nginx-summer-7775bc9d99-jlwhm bash
    4. cd /usr/share/nginx/html/
    5. echo "this is web2" > index.html
    6. exit
    1. #登录旧3的pod中测试
    2. kubectl get pod
    3. kubectl exec -it nginx-summer-7775bc9d99-xqxmv bash
    4. echo "this is web3" > /usr/share/nginx/html/index.html
    5. exit
    1. kubectl get svc
    2. #访问网页,等待刷新变化
    3. http://192.168.198.11:32605/

    1. #查看更新状态信息
    2. kubectl rollout status deployment nginx-summer
    3. #确保更新的pod没问题了,继续更新
    4. kubectl rollout resume deployment nginx-summer
    1. #查看最后的更新情况
    2. kubectl get pods -w

    1. #查看端口及地址
    2. kubectl get svc
    3. #访问测试
    4. curl -I 192.168.198.11:32234
    5. curl -I 10.96.13.243

    1. > 总:
    2. > 金丝雀发布的声明式管理方法:
    3. > create/apply 两个的区别:
    4. > 当yaml配置文件发送改动后,使用以下两个更新的过程:
    5. > create:是一次性的,先delete删除原有的资源再通过yaml’文件再创建。
    6. > apply:创建资源没办法更新的,如果想更新,可以直接再执行kubectl apply -f 更新或先修改在删除,最后再创建更新。

    二.声明式管理方法
    1.声明式管理方法概念
    (1)适合于对资源的修改操作

    (2)声明式资源管理方法依赖于资源配置清单文件对资源进行管理
    资源配置清单文件有两种格式:yaml(人性化,易读),json(易于api接口解析)
    (3)对资源的管理,是通过事先定义在统一资源配置清单内,再通过陈述式命令应用到k8s集群里
    (4)语法格式:kubectl create/apply/delete -f xxxx.yaml

    2.相关操作

    (1)查看资源配置清单

    kubectl get deployment nginx -o yaml
    

    (2)解释资源配置清单

    1. kubectl explain deployment.metadata
    2. kubectl get service nginx -o yaml
    3. kubectl explain service.metadata

    (3)修改资源配置清单并应用

    ①离线修改:
    修改yaml文件,并用 kubectl apply -f xxxx.yaml 文件使之生效
    注意:当apply不生效时,先使用delete清除资源,再apply创建资源

    1. kubectl get service nginx -o yaml > nginx-svc.yaml
    2. vim nginx-svc.yaml #修改port: 8080
    3. kubectl delete -f nginx-svc.yaml
    4. kubectl apply -f nginx-svc.yaml
    5. kubectl get svc

    ②在线修改:

    直接使用 kubectl edit service nginx 在线编辑资源配置清单并保存退出即时生效(如port: 888

    PS:此修改方式不会对yaml文件内容修改

    (4)删除资源配置清单

    1. 陈述式删除:
    2. kubectl delete service nginx
    1. 声明式删除:
    2. kubectl delete -f nginx-svc.yaml


    1.k8s管理操作分为两大类
    (1)陈述式资源管理方法:通过命令方式语句来实现对资源的管理一条命令来实现

    (2)声明式资源管理方法:我们之前来通过yaml文件
    资源现配置所以在的一个yaml和josn(配置文件当中)

    2.k8s管理操作对比
    (1)陈述式资源管理方法
    –主要依赖命令行工具kubectl进行管理
    优点
    可以满足90%以上的使用场景
    对资源的增、删、查操作比较容易

    缺点
    命令冗长,复杂,难以记忆
    特定场景下,无法实现管理需求
    对资源的修改麻烦,需要patch来使用json串更改。

    (2)声明式资源管理方法
    主要依赖统一资源配置清单进行管理

    (3)GUI式资源管理方法
    主要依赖图形化操作界面进行管理

    3.相关命令总结
    (1)删除pod

    kubectl delete pod
    1
    (2)删除副本

    kubectl delete deployment
    1
    (3)创建副本

    kubectl create deployment
    1
    (4)扩容、缩容

    kubectl scale --replicas
    1
    (5)创建一个自主式/静态pod

    注意就是创建一个pod,这个 pod一旦挂了就不会再node上拉起这个就是静态pod,他不是存在etcd ,他是在存储nodk当中——相当于自营

    kubectl create deployment :用于创建deployment控制管理器的pod

    注意:这种pod是再控制器管理当中,举列比如pod 运行在node01上控制器会保证pod的数量,如果node1挂了,他会在node02或者其他node节点重新拉起pod的数量——相当于有人管
    (6)查看

    kubectl get pod, ns,svc
    

    (7)查看命名空间资源

    kubectl get all -n + 命名空间名
    

    (8)跨主机登录容器中

    1. kubectl get pods -n +命名空间名
    2. kubectl exec -it +前条查询到的服务pod信息名 bash -n app

    (9)查看资源的详细信息

    kubectl describe svc + 服务(nginx)
    

    (10)查看pod中容器中的日志

    kubectl logs +pod名
    

  • 相关阅读:
    2022react面试题整理
    微服务真的需要前后端分离吗?
    UE5.1_自定义配置文件读取
    Linux 进程创建,进程状态,优先级
    RT-DETR手把手教程,注意力机制如何添加在网络的不同位置进行创新优化
    WordPress SMTP邮件发送插件 Easy WP SMTP
    设计模式之(13)--模板方法模式
    TrueTouch学习记录
    网络安全笔记2——单钥密码体制
    如何实现购物车一键全选?
  • 原文地址:https://blog.csdn.net/m0_71493671/article/details/132805107