• Docker笔记-08 Docker BuildKit


    Docker Buildx 是一个docker CLI插件,其扩展了docker命令,支持Moby BuildKit提供的功能。提供了与docker build相同的用户体验,并增加了许多新功能。(该功能仅适用于 Docker v19.03+ 版本)

    1 BuildKit

    BuildKit 是下一代的镜像构建组件,在https://github.com/moby/buildkit开源。

    注意:如果您的镜像构建使用的是云服务商提供的镜像构建服务(腾讯云容器服务、阿里云容器服务等),由于上述服务提供商的Docker版本低于18.09,BuildKit无法使用,将造成镜像构建失败。建议使用BuildKit构建镜像时使用一个新的Dockerfile文件(例如 Dockerfile.buildkit)

    目前,Docker Hub自动构建已经支持buildkit,具体请参考

    官方文档

    1.1 Dockerfile新增指令详解

    启用BuildKit之后,我们可以使用下面几个新的Dockerfile指令来加快镜像构建。

    1.1.1 RUN --mount=type=cache

    目前,几乎所有的程序都会使用依赖管理工具,例如Go中的go mod、Node.js中的npm等等,当我们构建一个镜像时,往往会重复的从互联网中获取依赖包,难以缓存,大大降低了镜像的构建效率。

    例如一个前端工程需要用到npm:

    FROM node:alpine as builder
    
    WORKDIR /app
    
    COPY package.json /app/
    
    RUN npm i --registry=https://registry.npm.taobao.org \
            && rm -rf ~/.npm
    
    COPY src /app/src
    
    RUN npm run build
    
    FROM nginx:alpine
    
    COPY --from=builder /app/dist /app/dist
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16

    使用多阶段构建,构建的镜像中只包含了目标文件夹dist,但仍然存在一些问题,当package.json文件变动时,RUN npm i && rm -rf ~/.npm这一层会重新执行,变更多次后,生成了大量的中间层镜像。

    为解决这个问题,进一步的我们可以设想一个类似数据卷的功能,在镜像构建时把node_modules 文件夹挂载上去,在构建完成后,这个node_modules文件夹会自动卸载,实际的镜像中并不包含node_modules 这个文件夹,这样我们就省去了每次获取依赖的时间,大大增加了镜像构建效率,同时也避免了生成了大量的中间层镜像。

    BuildKit提供了RUN --mount=type=cache指令,可以实现上边的设想。

    # syntax = docker/dockerfile:experimental
    FROM node:alpine as builder
    
    WORKDIR /app
    
    COPY package.json /app/
    
    RUN --mount=type=cache,target=/app/node_modules,id=my_app_npm_module,sharing=locked \
        --mount=type=cache,target=/root/.npm,id=npm_cache \
            npm i --registry=https://registry.npm.taobao.org
    
    COPY src /app/src
    
    RUN --mount=type=cache,target=/app/node_modules,id=my_app_npm_module,sharing=locked \
    # --mount=type=cache,target=/app/dist,id=my_app_dist,sharing=locked \
            npm run build
    
    FROM nginx:alpine
    
    # COPY --from=builder /app/dist /app/dist
    
    # 为了更直观的说明 from 和 source 指令,这里使用 RUN 指令
    RUN --mount=type=cache,target=/tmp/dist,from=builder,source=/app/dist \
        # --mount=type=cache,target/tmp/dist,from=my_app_dist,sharing=locked \
        mkdir -p /app/dist && cp -r /tmp/dist/* /app/dist
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25

    由于BuildKit为实验特性,每个Dockerfile文件开头都必须加上如下指令

    # syntax = docker/dockerfile:experimental
    
    • 1
    • 第一个RUN指令执行后,id为my_app_npm_module的缓存文件夹挂载到了/app/node_modules文件夹中。多次执行也不会产生多个中间层镜像。
    • 第二个RUN指令执行时需要用到node_modules文件夹,node_modules已经挂载,命令也可以正确执行。
    • 第三个RUN指令将上一阶段产生的文件复制到指定位置,from指明缓存的来源,这里builder表示缓存来源于构建的第一阶段,source指明缓存来源的文件夹。

    上面的Dockerfile中--mount=type=cache,...中指令作用如下:

    选项说明
    idid 设置一个标志,以便区分缓存。
    target (必填项)缓存的挂载目标文件夹。
    ro,readonly只读,缓存文件夹不能被写入。
    sharing有 shared private locked 值可供选择。sharing 设置当一个缓存被多次使用时的表现,由于 BuildKit 支持并行构建,当多个步骤使用同一缓存时(同一 id)会发生冲突。shared 表示多个步骤可以同时读写,private 表示当多个步骤使用同一缓存时,每个步骤使用不同的缓存,locked 表示当一个步骤完成释放缓存后,后一个步骤才能继续使用该缓存。
    from缓存来源(构建阶段),不填写时为空文件夹。
    source来源的文件夹路径。

    1.1.2 RUN --mount=type=bind

    该指令可以将一个镜像(或上一构建阶段)的文件挂载到指定位置。

    # syntax = docker/dockerfile:experimental
    RUN --mount=type=bind,from=php:alpine,source=/usr/local/bin/docker-php-entrypoint,target=/docker-php-entrypoint \
            cat /docker-php-entrypoint
    
    • 1
    • 2
    • 3

    1.1.3 RUN --mount=type=tmpfs

    该指令可以将一个 tmpfs 文件系统挂载到指定位置。

    # syntax = docker/dockerfile:experimental
    RUN --mount=type=tmpfs,target=/temp \
            mount | grep /temp
    
    • 1
    • 2
    • 3

    1.1.4 RUN --mount=type=secret

    该指令可以将一个文件(例如密钥)挂载到指定位置。

    # syntax = docker/dockerfile:experimental
    RUN --mount=type=secret,id=aws,target=/root/.aws/credentials \
            cat /root/.aws/credentials
    $ docker build -t test --secret id=aws,src=$HOME/.aws/credentials .
    
    • 1
    • 2
    • 3
    • 4

    1.1.5 RUN --mount=type=ssh

    该指令可以挂载 ssh 密钥。

    # syntax = docker/dockerfile:experimental
    FROM alpine
    RUN apk add --no-cache openssh-client
    RUN mkdir -p -m 0700 ~/.ssh && ssh-keyscan gitlab.com >> ~/.ssh/known_hosts
    RUN --mount=type=ssh ssh git@gitlab.com | tee /hello
    $ eval $(ssh-agent)
    $ ssh-add ~/.ssh/id_rsa
    (Input your passphrase here)
    $ docker build -t test --ssh default=$SSH_AUTH_SOCK .
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9

    1.1.6 docker-compose build使用Buildkit

    设置 COMPOSE_DOCKER_CLI_BUILD=1 环境变量即可使用。

    2 使用buildx构建镜像

    官方文档

    可以直接使用docker buildx build命令构建镜像。

    $ docker buildx build .
    [+] Building 8.4s (23/32)
     => ...
    
    • 1
    • 2
    • 3

    Buildx使用BuildKit引擎进行构建,支持许多新的功能,具体参考Buildkit一节。

    3 使用buildx构建多种系统架构支持的Docker镜像

    在之前的版本中构建多种系统架构支持的Docker镜像,要想使用统一的名字必须使用$ docker manifest命令。

    Docker 19.03+版本中可以使用$ docker buildx build命令使用BuildKit构建镜像。该命令支持--platform 参数可以同时构建支持多种系统架构的Docker镜像,大大简化了构建步骤。

    3.1 新建builder实例

    Docker for Linux不支持构建arm架构镜像,我们可以运行一个新的容器让其支持该特性,Docker桌面版无需进行此项设置。

    $ docker run --rm --privileged tonistiigi/binfmt:latest --install all
    
    • 1

    由于Docker默认的builder实例不支持同时指定多个--platform,我们必须首先创建一个新的builder实例。同时由于国内拉取镜像较缓慢,我们可以使用配置了镜像加速地址的dockerpracticesig/buildkit:master镜像替换官方镜像。

    如果你有私有的镜像加速器,可以基于https://github.com/docker-practice/buildx构建自己的buildkit镜像并使用它。

    # 适用于国内环境
    $ docker buildx create --use --name=mybuilder-cn --driver docker-container --driver-opt image=dockerpracticesig/buildkit:master
    
    # 适用于腾讯云环境(腾讯云主机、coding.net 持续集成)
    $ docker buildx create --use --name=mybuilder-cn --driver docker-container --driver-opt image=dockerpracticesig/buildkit:master-tencent
    
    # $ docker buildx create --name mybuilder --driver docker-container
    
    $ docker buildx use mybuilder
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9

    3.2 构建镜像

    新建Dockerfile文件。

    FROM --platform=$TARGETPLATFORM alpine
    
    RUN uname -a > /os.txt
    
    CMD cat /os.txt
    
    • 1
    • 2
    • 3
    • 4
    • 5

    使用$ docker buildx build命令构建镜像,注意将myusername替换为自己的Docker Hub用户名。--push参数表示将构建好的镜像推送到Docker仓库。

    $ docker buildx build --platform linux/arm,linux/arm64,linux/amd64 -t myusername/hello . --push
    
    # 查看镜像信息
    $ docker buildx imagetools inspect myusername/hello
    
    • 1
    • 2
    • 3
    • 4

    在不同架构运行该镜像,可以得到该架构的信息。

    # arm
    $ docker run -it --rm myusername/hello
    Linux buildkitsandbox 4.9.125-linuxkit #1 SMP Fri Sep 7 08:20:28 UTC 2018 armv7l Linux
    
    # arm64
    $ docker run -it --rm myusername/hello
    Linux buildkitsandbox 4.9.125-linuxkit #1 SMP Fri Sep 7 08:20:28 UTC 2018 aarch64 Linux
    
    # amd64
    $ docker run -it --rm myusername/hello
    Linux buildkitsandbox 4.9.125-linuxkit #1 SMP Fri Sep 7 08:20:28 UTC 2018 x86_64 Linux
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11

    3.3 架构相关变量

    Dockerfile支持如下架构相关的变量

    参数说明
    TARGETPLATFORM构建镜像的目标平台,例如 linux/amd64, linux/arm/v7, windows/amd64。
    TARGETOSTARGETPLATFORM 的 OS 类型,例如 linux, windows
    TARGETARCHTARGETPLATFORM 的架构类型,例如 amd64, arm
    TARGETVARIANTTARGETPLATFORM 的变种,该变量可能为空,例如 v7
    BUILDPLATFORM构建镜像主机平台,例如 linux/amd64
    BUILDOSBUILDPLATFORM 的 OS 类型,例如 linux
    BUILDARCHBUILDPLATFORM 的架构类型,例如 amd64
    BUILDVARIANTBUILDPLATFORM 的变种,该变量可能为空,例如 v7

    3.3.1 使用举例

    例如我们要构建支持 linux/arm/v7 和 linux/amd64 两种架构的镜像。假设已经生成了两个平台对应的二进制文件:

    • bin/dist-linux-arm
    • bin/dist-linux-amd64

    那么 Dockerfile 可以这样书写:

    FROM scratch
    
    # 使用变量必须申明
    ARG TARGETOS
    
    ARG TARGETARCH
    
    COPY bin/dist-${TARGETOS}-${TARGETARCH} /dist
    
    ENTRYPOINT ["dist"]
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
  • 相关阅读:
    管理学培养目标及就业前景
    PIMPL技巧
    样式和格式代码
    html相关
    APS智能排产在电缆行业的应用
    conda中cuda、cuda-toolkit、cuda-nvcc、cuda-runtime的区别
    JAVA安全之Log4j-Jndi注入原理以及利用方式
    C++ Qt 学习(九):模型视图代理
    避免数据泄露风险!NineData提供SQL开发规范和用户访问量管理
    Chrome下载离线安装包进行安装
  • 原文地址:https://blog.csdn.net/qui910/article/details/125546963