• 和拐友们聊聊Docker 的资源控制管理Cgroups


    前言:这章和拐友们聊聊cgroups,它是一个非常强大的linux内核工具,他不仅可以限制被namespace隔离起来的资源,还可以为资源设置权、计算使用量、操控进程启停等等。所以cgroups(Control groups)实现了对资源的配额和度量。

    目录

     一.Cgroups的四大功能

    二. 设置cpu使用率上限

    三.对CPU使用率的控制

     3.1设置CPU资源占用比(设置多个容器时才有效)

     3.2限制 CPU 使用周期速率

     3.3限制 CPU 内核使用

     四.对内存限额

     五.对-Block IO的限制

     六.bps 和iops 的限制

     七.总结

      7.1Cgroups如何工作的?

      7.2cgroup对cpu限制小结

       7.2.1主要介绍的是CPU资源的控制而CPU资源控制的方式主要有:

     7.3cgroup对内存的限制小结

     7.4资源限制的主要类型

     7.5资源限制的几种方式

     7.6资源限制的状态查询


     一.Cgroups的四大功能

    • 资源限制:可以对任务使用的资源总额进行限制
    • 优先级分配:通过分配的cpu时间片数量以及磁盘IO带宽大小,实际上相当于控制了任务运行优先级
    • 资源统计:可以统计系统的资源使用量,如cpu时长,内存用量等
    • 任务控制:cgroup可以对任务执行挂起、恢复等操作

    二. 设置cpu使用率上限

    • Linux通过crs(Completely Fair scheduler,完全公平调度器)来调度各个进程对CPU的使用。crs默认的调度周期是100ms。
    • 使用–cpu-period 即可设置调度周期,使用–cpu-quota即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。
    • CFS周期的有效范围是1ms~1s,对应的–cpu-period 的数值范围是1000~1000000。
    • 而容器的CPU配额必须不小于1ms,即–cpu-quota的值必须>=1000。

    三.对CPU使用率的控制

    1. 利用 stress 压力测试工具来测试 CPU 和内存使用状况。
    2. [root@localhost ~]# mkdir /opt/stress
    3. [root@localhost ~]# cd /opt/stress/
    4. [root@localhost stress]# vim Dockerfile
    5. ------使用 stress 工具测试 CPU 和内存----
    6. FROM centos:7
    7. RUN yum -y install wget
    8. RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo #epel源,可以使用扩展软件包(stress)
    9. RUN yum -y install stress #可以指定产生线程,使用循环语句,测试用'
    10. -------------------------------------------------------------------------

     3.1设置CPU资源占用比(设置多个容器时才有效)

    • Docker通过--cpu-shares指定CPU份额,默认值为1024,值为1024的倍数。
    • 资源分配结果取决于同时运行的其他容器的CPU分配和容器中进程运行情况。
      cgroups只在容器分配的资源紧缺时,即在需要对容器使用的资源进行限制时,才会生效。因此,无法单纯根据某个容器的CPU份额来确定有多少CPU资源分配给它。
    1. 示例:创建两个容器为cpu512和cpu1024,
    2. 若只有这两个容器,设置容器的权重,使得cpu512和cpu1024的CPU资源占比为1/32/3
    3. docker run -itd --name cpu512 --cpu-shares 512 centos:stress stress -c 10 #-c 10表示产生10个子线程,测试用
    4. docker run -itd --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10
    5. #查看容器的资源使用状态(动态更新)
    6. docker stats
    7. 资源是用cadvisor收集的

     3.2限制 CPU 使用周期速率

    • Docker 提供了–cpu-period、–cpu-quota两个参数控制容器可以分配到的CPU时钟周期
    • cpu-period(周期)是用来指定容器对CPU的使用要在多长时间内做一次重新分配。默认将cpu所有容器在一个周期里面全都设置。
    • cpu-quota是用来指定在这个周期内,最多可以有多少时间用来跑这个容器默认是10万。与–cpu-shares不同的是,这种配置是指定一个绝对值,容器对CPU资源的使用绝对不会超过配置的值。
    • cpu-quota 的值默认为-1,表示不做控制。–cpu-period 和 --cpu-quota参数一般联合使用。
    1. cat /sys/fs/cgroup/cpu/docker/[容器ID]/cpu.cfs_quota_us
    2. #-1,表示不做控制
    3. #例如:容器进程需要每Ⅰ秒使用单个cPU的 0.2秒时间,
    4. 可以将 --cpu-period 设置为1000000(即1秒),cpu-quota 设置为200000 0.2秒)。
    5. #当然,在多核情况下,如果允许容器进程完全占用两个CPU,
    6. 则可以将cpu-period 设置为 100000(即 0.1秒),cpu-quota 设置为200000 (0.2秒)。
    7. docker run -itd --name test01 --cpu-period 100000 --cpu-quota 200000 centos:stress
    8. #也可以直接去修改文件vim /sys/fs/cgroup/cpu/docker/[容器ID]/cpu.cfs_quota_us
    9. docker run -itd --name test01 --cpu-period 100000 --cpu-quota 200000 centos:stress
    10. #法一:进入指定容器查看
    11. docker exec -it test01 bash
    12. cd /sys/fs/cgroup/cpu
    13. cat cpu.cfs_period_us
    14. cat cpu.cfs_quota_us
    15. #法二:docker inspect 容器ID
    16. docker inspect c13aede8a561

     

     3.3限制 CPU 内核使用

    • 可以通过配置,使得某些程序独享 CPU 内核,以提高其处理速度
    • 对多核CPU的服务器,Docker还可以控制容器*运行使用哪些CPU内核**,即使用–cpuset-cpus参数。这对具有多CPU的服务器尤其有用,可以对需要高性能计算的容器进行性能最优的配置。
    1. docker run -itd --name cpu1 --cpuset-cpus 0-1 centos:stress
    2. #执行以上命令需要宿主机为双核,表示创建的容器只能用0、1两个内核。最终生成的 cgroup的 CPU内核配置如下
    3. cat /sys/fs/cgroup/cpuset/docker/[容器ID]/cpuset.cpus
    4. docker exec -it cpu1 /bin/bash -c "stress -c 10"

     四.对内存限额

    • 与操作系统类似,容器可使用的内存包括两部分:物理内存和swap
    • -mm 或 --memory:设置内存的使用限额
    • -memory-swap:设置内存+swap 的使用限额
    1. docker run -itd -m 200M --memory-swap 300M --name test01 centos:stress
    2. docker stats

    1. docker run -itd --name test02 centos:stress
    2. docker stats

     五.对-Block IO的限制

    • 默认情况下,所有容器能平等地读写磁盘,可以通过设置–blkio-weight参数来改变容器 block IO的优先级。
    • -blkio-weight 与–cpu-shares类似,设置的是相对权重值,默认为500。
    1. –blkio-weight 与–cpu-shares类似,设置的是相对权重值,默认为500。
    2. #容器A
    3. docker run -it --name container_A --blkio-weight 600 centos:stress
    4. cat /sys/fs/cgroup/blkio/blkio.weight
    5. #容器B
    6. docker run -it --name container_B --blkio-weight 300 centos:stress
    7. cat /sys/fs/cgroup/blkio/blkio.weight

    六.bps 和iops 的限制

    • bps是byte per second,每秒读写的数据量。
    • iops是io per second,每秒IO的次数。
    • 可通过以下参数控制容器的bps 和iops:
    1. –device-read-bps,限制读菜个设备的bps。
    2. –device-write-bps,限制写某个设备的bps。
    3. –device-read-iops,限制读某个设备的iops。
    4. –device-write-iops,限制写某个设备的iops。
    5. #下面的示例是限制容器写/dev/sda 的速率为5MB/s
    6. docker run -it --device-write-bps /dev/sda:5MB centos:stress
    7. dd if=/dev/zero of=test bs=1M count=100 oflag=direct
    8. 100+0 records in
    9. 100+0 records out
    10. 104857600 bytes (105 MB) copied, 20.0018 s, 5.2 MB/s
    11. #通过dd命令测试在容器中写磁盘的速度。因为容器的文件系统是在 host /dev/sda 上的。
    12. #在容器中写文件相当子对host /dev/sda进行写操作。另外,oflag=direct指定用direct IO 方式写文件,这样--device-write-bps才能生效。
    13. #结果表明限速 5MB/s左右。作为对比测试,如果不限速,结果如下。
    14. docker run -it centos:stress
    15. dd if=/dev/zero of=test bs=1M count=100 oflag=direct
    16. 100+0 records in
    17. 100+0 records out
    18. 104857600 bytes (105 MB) copied, 0.0470107 s, 2.2 GB/s

     七.总结

      7.1Cgroups如何工作的?

    • CPU—>VCPU–>以进程的方式体现在workstation环境(docker环境中) —》docker表现形式是容器,–>Vcpu以进程的方式控制容器–》容器中的应用需要的是服务进程支持–》宿主机内核中cpu可以被cgroup管理(通过分配资源手段)–》linux内核中的cgroup可以直接控制VCPU的资源分配,而VCPU在workstation中是以进程的方式管理docker容器的,所以,也可以认为Cgroups在直接/间接管理docker容器中的应用

      7.2cgroup对cpu限制小结

    • Cgroups 控制的是内核资源—》间接控制vw中vcpu的资源—》控制着vwM中进程资源—》docker容器的资源—》docker容器内应用的资源

      控制的主体包括:CPU、内存、I/O

       7.2.1主要介绍的是CPU资源的控制而CPU资源控制的方式主要有:

    1. cpu-shares权重指的是多个容器使用同一个CPU的情况下,被分配到CPU资源的机会占比
    2. cpu-period周期指的是,CPU在给于当前管理、控制的容器分配资源时,CPU的分配周期,默认是1s,此项配置,可以在运行时直接指定
    3. cpuset-cpus指定容器,仅能使用指定的CPU,按照CPU的下标来表示

        7.3cgroup对内存的限制小结

    Cgroups 对于内存的限制,主要体现在以下两个部分:

    ①内存使用上限(硬限制)

    ②内存+swap使用上限(硬限制)

    类比于K8s中的资源限制手段,也是使用的cgroups的技术,体现为limit

    1. respones:
    2. request: #分配的初始资源
    3. cpu:100m
    4. memory:100m
    5. limits:
    6. cpu:300m
    7. memory:200m

     7.4资源限制的主要类型

    • CPU权重shares、 quota、 cpuset
    • 磁盘BPS、 TPS限制, 指定使用哪个磁盘、磁盘分区
    • 内存 -m - swap 内存、交换分区(大部分做的是上限的限制

     7.5资源限制的几种方式

    • build构建镜像时,可以指定该镜像的资源限制
    • run将镜像跑为容器的时候,可以指定容器的资源限制
    • 容器启动之后可以在宿主机对应容器的目录下,修改资源限制,然后重载
    • /sys/ fs/cgroup/* (cpu、b1k、 mem) /docker/容 器ID/ ——>修改对应的资源限制文件参数就可以

     7.6资源限制的状态查询

    • docker inspect 镜像ID/容器ID
    • 直接查看宿主机对应容器ID资源限制的文件
    • cgroup资源docker 原理之一, namespaces 6个名称空间

    可以指定该镜像的资源限制

    • run将镜像跑为容器的时候,可以指定容器的资源限制
    • 容器启动之后可以在宿主机对应容器的目录下,修改资源限制,然后重载
    • /sys/ fs/cgroup/* (cpu、b1k、 mem) /docker/容 器ID/ ——>修改对应的资源限制文件参数就可以

    docker 使用cgrqup控制资源,K8S 里面也有limit(使用上限)

    • docker通过cgroup来控制容器使用的资源配额,包括CPU、内存、磁盘三大方面,基本覆盖了常见的资源配额和使用量控制。
    • Cgroup 是 Control group 的简写,是 Linux 内核提供的一种限制所使用物理资源的机制,
    • CPU、内存 和 IO 这三大方面,基本覆盖了常见的资源配额和使用量控制
    • cgroup是一种资源控制手段,也是容器隔离的6个名称空间的一种实现手段
  • 相关阅读:
    SPDK加速框架介绍
    java基础10题
    SpringCloud 三种服务调用方式,你学会了吗?
    Hexagon_V65_Programmers_Reference_Manual(19)
    SpringBoot启动原理——Run方法源码解析《课时十二》
    「网络流浅谈」最大流的应用
    K8S Pod控制器:ReplicationController ReplicaSet Deployment三者的联系与区别
    为何海量计算机系毕业生“负债”报IT培训班?高校IT教育该如何变革?
    《定时执行专家》官方版介绍 —— 毫秒级精度、多线程、专业级的定时任务执行软件
    Vue3 SFC 和 TSX 方式自定义组件实现 v-model
  • 原文地址:https://blog.csdn.net/weixin_67474417/article/details/125910755