Docker Compose是Docker官方编排(Orchestration)项目之一,负责快速的部署分布式应用。本章将介绍Compose项目情况以及安装和使用。
Compose项目是Docker官方的开源项目,负责实现对Docker容器集群的快速编排。从功能上看,跟OpenStack中的Heat十分类似。
Compose定位是「定义和运行多个 Docker 容器的应用(Defining and running multi-container Docker applications)」,其前身是开源项目Fig。
前面章节的介绍,我们知道使用一个Dockerfile模板文件,可以让用户很方便的定义一个单独的应用容器。然而,在日常工作中,经常会碰到需要多个容器相互配合来完成某项任务的情况。例如要实现一个Web项目,除了Web服务容器本身,往往还需要再加上后端的数据库服务容器,甚至还包括负载均衡容器等。
Compose恰好满足了这样的需求。它允许用户通过一个单独的docker-compose.yml模板文件(YAML格式)来定义一组相关联的应用容器为一个项目(project)。
Compose中有两个重要的概念:
docker-compose.yml文件中定义。Compose的默认管理对象是项目,通过子命令对项目中的一组容器进行便捷地生命周期管理。
Compose项目由Python编写,实现上调用了Docker服务提供的API来对容器进行管理。因此,只要所操作的平台支持Docker API,就可以在其上利用Compose来进行编排管理。
目前Docker官方用GO语言 重写了Docker Compose,并将其作为了docker cli的子命令,称为Compose V2。可以参照官方文档安装,然后将熟悉的docker-compose命令替换为docker compose,即可使用Docker Compose。
Compose支持Linux、macOS、Windows 10 三大平台。
Compose可以通过Python的包管理工具pip进行安装,也可以直接下载编译好的二进制文件使用,甚至能够直接在Docker 容器中运行。
Docker Desktop for Mac/Windows自带docker-compose二进制文件,安装Docker之后可以直接使用。
$ docker-compose --version
docker-compose version 1.27.4, build 40524192
Linux系统请使用以下介绍的方法安装。
在Linux上的也安装十分简单,从官方GitHub Release处直接下载编译好的二进制文件即可。
例如,在Linux 64位系统上直接下载对应的二进制包。
$ sudo curl -L https://github.com/docker/compose/releases/download/1.27.4/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose
# 国内用户可以使用以下方式加快下载
$ sudo curl -L https://download.fastgit.org/docker/compose/releases/download/1.27.4/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose
$ sudo chmod +x /usr/local/bin/docker-compose
x86_64架构的Linux建议按照上边的方法下载二进制包进行安装,如果您计算机的架构是ARM(例如,树莓派),再使用pip安装。
这种方式是将Compose当作一个Python应用来从pip源中安装。
执行安装命令:
$ sudo pip install -U docker-compose
可以看到类似如下输出,说明安装成功。
Collecting docker-compose
Downloading docker-compose-1.27.4.tar.gz (149kB): 149kB downloaded
...
Successfully installed docker-compose cached-property requests texttable websocket-client docker-py dockerpty six enum34 backports.ssl-match-hostname ipaddress
$ curl -L https://raw.githubusercontent.com/docker/compose/1.27.4/contrib/completion/bash/docker-compose > /etc/bash_completion.d/docker-compose
如果是二进制包方式安装的,删除二进制文件即可。
$ sudo rm /usr/local/bin/docker-compose
如果是通过pip安装的,则执行如下命令即可删除。
$ sudo pip uninstall docker-compose
首先介绍几个术语。
可见,一个项目可以由多个服务(容器)关联而成,Compose 面向项目进行管理。
以最常见的项目是web网站为例,该项目应该包含web应用和缓存。
下面我们用 Python 来建立一个能够记录页面访问次数的web网站。
from flask import Flask
from redis import Redis
app = Flask(__name__)
redis = Redis(host='redis', port=6379)
@app.route('/')
def hello():
count = redis.incr('hits')
return 'Hello World! 该页面已被访问 {} 次。\n'.format(count)
if __name__ == "__main__":
app.run(host="0.0.0.0", debug=True)
FROM python:3.6-alpine
ADD . /code
WORKDIR /code
RUN pip install redis flask
CMD ["python", "app.py"]
version: '3'
services:
web:
build: .
ports:
- "5000:5000"
redis:
image: "redis:alpine"
$ docker-compose up
此时访问本地 5000 端口,每次刷新页面,计数就会加1。
对于Compose来说,大部分命令的对象既可以是项目本身,也可以指定为项目中的服务或者容器。如果没有特别的说明,命令对象将是项目,这意味着项目中所有的服务都会受到命令影响。
执行docker-compose [COMMAND] --help或者docker-compose help [COMMAND]可以查看具体某个命令的使用格式。
docker-compose命令的基本的使用格式是:
docker-compose [-f=<arg>...] [options] [COMMAND] [ARGS...]
| 命令选项 | 说明 |
|---|---|
-f, --file FILE | 指定使用的Compose模板文件,默认为docker-compose.yml,可以多次指定。 |
-p, --project-name NAME | 指定项目名称,默认将使用所在目录名称作为项目名。 |
--verbose | 输出更多调试信息。 |
-v, --version | 打印版本并退出。 |
构建(重新构建)项目中的服务容器。格式为:
docker-compose build [options] [SERVICE...]
服务容器一旦构建后,将会带上一个标记名,例如对于web项目中的一个db容器,可能是web_db。可以随时在项目目录下运行docker-compose build来重新构建服务。
选项包括:
--force-rm 删除构建过程中的临时容器。--no-cache 构建镜像过程中不使用cache(这将加长构建过程)。--pull 始终尝试通过pull来获取更新版本的镜像。验证Compose文件格式是否正确,若正确则显示配置,若格式错误显示错误原因。
此命令将会停止up命令所启动的容器,并移除网络
进入指定的容器。
获得一个命令的帮助。
列出Compose文件中包含的镜像。
通过发送SIGKILL信号来强制停止服务容器。格式为:
docker-compose kill [options] [SERVICE...]
支持通过-s参数来指定发送的信号,例如通过如下指令发送SIGINT信号。
$ docker-compose kill -s SIGINT
查看服务容器的输出。格式为:
docker-compose logs [options] [SERVICE...]
默认情况下,docker-compose将对不同的服务输出使用不同的颜色来区分。可以通过--no-color来关闭颜色。
该命令在调试问题的时候十分有用。
暂停一个服务容器。格式为:
docker-compose pause [SERVICE...]
打印某个容器端口所映射的公共端口。格式为:
docker-compose port [options] SERVICE PRIVATE_PORT
选项:
--protocol=proto 指定端口协议,tcp(默认值)或者 udp。--index=index 如果同一服务存在多个容器,指定命令对象容器的序号(默认为 1)。列出项目中目前的所有容器。格式为:
docker-compose ps [options] [SERVICE...]
选项:
-q 只打印容器的ID信息。拉取服务依赖的镜像。格式为:
docker-compose pull [options] [SERVICE...]
选项:
--ignore-pull-failures 忽略拉取镜像过程中的错误。推送服务依赖的镜像到Docker镜像仓库。
重启项目中的服务。格式为:
docker-compose restart [options] [SERVICE...]
选项:
-t, --timeout TIMEOUT 指定重启前停止容器的超时(默认为 10 秒)。删除所有(停止状态的)服务容器。格式为:
docker-compose rm [options] [SERVICE...]
推荐先执行docker-compose stop命令来停止容器。
选项:
-f, --force 强制直接删除,包括非停止状态的容器。一般尽量不要使用该选项。-v 删除容器所挂载的数据卷。在指定服务上执行一个命令。格式为:
docker-compose run [options] [-p PORT...] [-e KEY=VAL...] SERVICE [COMMAND] [ARGS...]
例如:
$ docker-compose run ubuntu ping docker.com
将会启动一个ubuntu服务容器,并执行ping docker.com命令。
默认情况下,如果存在关联,则所有关联的服务将会自动被启动,除非这些服务已经在运行中。
该命令类似启动容器后运行指定的命令,相关卷、链接等等都将会按照配置自动创建。
两个不同点:
如果不希望自动启动关联的容器,可以使用--no-deps选项,例如
$ docker-compose run --no-deps web python manage.py shell
将不会启动web容器所关联的其它容器。
选项:
-d 后台运行容器。--name NAME 为容器指定一个名字。--entrypoint CMD 覆盖默认的容器启动指令。-e KEY=VAL 设置环境变量值,可多次使用选项来设置多个环境变量。-u, --user="" 指定运行容器的用户名或者 uid。--no-deps 不自动启动关联的服务容器。--rm 运行命令后自动删除容器,d 模式下将忽略。-p, --publish=[] 映射容器端口到本地主机。--service-ports 配置服务端口并映射到本地主机。-T 不分配伪tty,意味着依赖tty的指令将无法运行。设置指定服务运行的容器个数。格式为:
docker-compose scale [options] [SERVICE=NUM...]
通过service=num的参数来设置数量。例如:
$ docker-compose scale web=3 db=2
将启动3个容器运行web服务,2个容器运行db服务。
一般的,当指定数目多于该服务当前实际运行容器,将新创建并启动容器;反之,将停止容器。
选项:
-t, --timeout TIMEOUT 停止容器时候的超时(默认为 10 秒)。启动已经存在的服务容器。格式为:
docker-compose start [SERVICE...]
停止已经处于运行状态的容器,但不删除它。格式为:
docker-compose stop [options] [SERVICE...]
通过docker-compose start可以再次启动这些容器。
选项:
-t, --timeout TIMEOUT 停止容器时候的超时(默认为 10 秒)。查看各个服务容器内运行的进程。
恢复处于暂停状态中的服务。格式为:
docker-compose unpause [SERVICE...]
该命令十分强大,它将尝试自动完成包括构建镜像,(重新)创建服务,启动服务,并关联服务相关容器的一系列操作。
链接的服务都将会被自动启动,除非已经处于运行状态。格式为:
docker-compose up [options] [SERVICE...]
可以说,大部分时候都可以直接通过该命令来启动一个项目。
默认情况,docker-compose up启动的容器都在前台,控制台将会同时打印所有容器的输出信息,可以很方便进行调试。
当通过Ctrl-C停止命令时,所有容器将会停止。
如果使用docker-compose up -d,将会在后台启动并运行所有的容器。一般推荐生产环境下使用该选项。
默认情况,如果服务容器已经存在,docker-compose up将会尝试停止容器,然后重新创建(保持使用volumes-from 挂载的卷),以保证新启动的服务匹配docker-compose.yml文件的最新内容。
如果用户不希望容器被停止并重新创建,可以使用docker-compose up --no-recreate。这样将只会启动处于停止状态的容器,而忽略已经运行的服务。如果用户只想重新部署某个服务,可以使用docker-compose up --no-deps -d <SERVICE_NAME>来重新创建服务并后台停止旧服务,启动新服务,并不会影响到其所依赖的服务。
选项:
-d在后台运行服务容器。--no-color 不使用颜色来区分不同的服务的控制台输出。--no-deps 不启动服务所链接的容器。--force-recreate 强制重新创建容器,不能与--no-recreate同时使用。--no-recreate 如果容器已经存在了,则不重新创建,不能与--force-recreate同时使用。--no-build 不自动构建缺失的服务镜像。-t, --timeout TIMEOUT 停止容器时候的超时(默认为 10 秒)。打印版本信息。格式为:
docker-compose version
模板文件是使用Compose的核心,涉及到的指令关键字也比较多。但大家不用担心,这里面大部分指令跟docker run相关参数的含义都是类似的。
默认的模板文件名称为docker-compose.yml,格式为YAML格式。
version: "3"
services:
webapp:
image: examples/web
ports:
- "80:80"
volumes:
- "/data"
注意每个服务都必须通过image指令指定镜像或build指令(需要 Dockerfile)等来自动构建生成镜像。
如果使用build指令,在Dockerfile中设置的选项(例如:CMD, EXPOSE, VOLUME, ENV 等)将会自动被获取,无需在docker-compose.yml中重复设置。
下面分别介绍各个指令的用法。具体细节可以参考:
指定Dockerfile所在文件夹的路径(可以是绝对路径,或者相对docker-compose.yml文件的路径)。Compose将会利用它自动构建这个镜像,然后使用这个镜像。
version: '3'
services:
webapp:
build: ./dir
你也可以使用context指令指定Dockerfile所在文件夹的路径。
使用dockerfile指令指定Dockerfile文件名。
使用arg指令指定构建镜像时的变量。
version: '3'
services:
webapp:
build:
context: ./dir
dockerfile: Dockerfile-alternate
args:
buildno: 1
使用cache_from指定构建镜像的缓存
build:
context: .
cache_from:
- alpine:latest
- corp/web_app:3.14
指定容器的内核能力(capacity)分配。
例如,让容器拥有所有能力可以指定为:
cap_add:
- ALL
去掉NET_ADMIN能力可以指定为:
cap_drop:
- NET_ADMIN
覆盖容器启动后默认执行的命令。
command: echo "hello world"
仅用于Swarm mode,详细内容请查看Swarm mode一节。
指定父cgroup组,意味着将继承该组的资源限制。
例如,创建了一个cgroup组名称为cgroups_1。
cgroup_parent: cgroups_1
指定容器名称。默认将会使用项目名称_服务名称_序号这样的格式。
container_name: docker-web-container
注意: 指定容器名称后,该服务将无法进行扩展(scale),因为Docker不允许多个容器具有相同的名称。
仅用于Swarm mode,详细内容请查看Swarm mode一节
指定设备映射关系。
devices:
- "/dev/ttyUSB1:/dev/ttyUSB0"
解决容器的依赖、启动先后的问题。以下例子中会先启动redis,db再启动web。
version: '3'
services:
web:
build: .
depends_on:
- db
- redis
redis:
image: redis
db:
image: postgres
注意:web服务不会等待redis,db「完全启动」之后才启动。
自定义DNS服务器。可以是一个值,也可以是一个列表。
dns: 8.8.8.8
dns:
- 8.8.8.8
- 114.114.114.114
配置DNS搜索域。可以是一个值,也可以是一个列表。
dns_search: example.com
dns_search:
- domain1.example.com
- domain2.example.com
挂载一个tmpfs文件系统到容器。
tmpfs: /run
tmpfs:
- /run
- /tmp
从文件中获取环境变量,可以为单独的文件路径或列表。
如果通过docker-compose -f FILE方式来指定Compose模板文件,则env_file中变量的路径会基于模板文件路径。
如果有变量名称与environment指令冲突,则按照惯例,以后者为准。
env_file: .env
env_file:
- ./common.env
- ./apps/web.env
- /opt/secrets.env
环境变量文件中每一行必须符合格式,支持#开头的注释行。
# common.env: Set development environment
PROG_ENV=development
设置环境变量。你可以使用数组或字典两种格式。
只给定名称的变量会自动获取运行Compose主机上对应变量的值,可以用来防止泄露不必要的数据。
environment:
RACK_ENV: development
SESSION_SECRET:
environment:
- RACK_ENV=development
- SESSION_SECRET
如果变量名称或者值中用到true|false,yes|no等表达布尔含义的词汇,最好放到引号里,避免YAML自动解析某些内容为对应的布尔语义。这些特定词汇,包括
y|Y|yes|Yes|YES|n|N|no|No|NO|true|True|TRUE|false|False|FALSE|on|On|ON|off|Off|OFF
暴露端口,但不映射到宿主机,只被连接的服务访问。仅可以指定内部端口为参数
expose:
- "3000"
- "8000"
链接到docker-compose.yml外部的容器,甚至并非Compose管理的外部容器。注意:不建议使用该指令。
external_links:
- redis_1
- project_db_1:mysql
- project_db_1:postgresql
类似Docker中的--add-host参数,指定额外的host名称映射信息。
extra_hosts:
- "googledns:8.8.8.8"
- "dockerhub:52.1.157.61"
会在启动后的服务容器中/etc/hosts文件中添加如下两条条目。
8.8.8.8 googledns
52.1.157.61 dockerhub
通过命令检查容器是否健康运行。
healthcheck:
test: ["CMD", "curl", "-f", "http://localhost"]
interval: 1m30s
timeout: 10s
retries: 3
指定为镜像名称或镜像ID。如果镜像在本地不存在,Compose将会尝试拉取这个镜像。
image: ubuntu
image: orchardup/postgresql
image: a4bc65fd
为容器添加Docker元数据(metadata)信息。例如可以为容器添加辅助说明信息。
labels:
com.startupteam.description: "webapp for a startup team"
com.startupteam.department: "devops department"
com.startupteam.release: "rc3 for v1.0"
注意:不推荐使用该指令。
配置日志选项。
logging:
driver: syslog
options:
syslog-address: "tcp://192.168.0.42:123"
目前支持三种日志驱动类型。
options配置日志驱动的相关参数。
options:
max-size: "200k"
max-file: "10"
设置网络模式。使用和docker run的--network参数一样的值。
network_mode: "bridge"
network_mode: "host"
network_mode: "none"
network_mode: "service:[service name]"
network_mode: "container:[container name/id]"
配置容器连接的网络。
version: "3"
services:
some-service:
networks:
- some-network
- other-network
networks:
some-network:
other-network:
跟主机系统共享进程命名空间。打开该选项的容器之间,以及容器和宿主机系统之间可以通过进程ID来相互访问和操作。
pid: "host"
暴露端口信息。
使用宿主端口:容器端口 (HOST:CONTAINER) 格式,或者仅仅指定容器的端口(宿主将会随机选择端口)都可以。
ports:
- "3000"
- "8000:8000"
- "49100:22"
- "127.0.0.1:8001:8001"
注意:当使用HOST:CONTAINER格式来映射端口时,如果你使用的容器端口小于60并且没放到引号里,可能会得到错误结果,因为YAML会自动解析xx:yy这种数字格式为60进制。为避免出现这种问题,建议数字串都采用引号包括起来的字符串格式。
存储敏感数据,例如mysql服务密码。
version: "3.1"
services:
mysql:
image: mysql
environment:
MYSQL_ROOT_PASSWORD_FILE: /run/secrets/db_root_password
secrets:
- db_root_password
- my_other_secret
secrets:
my_secret:
file: ./my_secret.txt
my_other_secret:
external: true
指定容器模板标签(label)机制的默认属性(用户、角色、类型、级别等)。例如配置标签的用户名和角色名。
security_opt:
- label:user:USER
- label:role:ROLE
设置另一个信号来停止容器。在默认情况下使用的是SIGTERM停止容器。
stop_signal: SIGUSR1
配置容器内核参数。
sysctls:
net.core.somaxconn: 1024
net.ipv4.tcp_syncookies: 0
sysctls:
- net.core.somaxconn=1024
- net.ipv4.tcp_syncookies=0
指定容器的ulimits限制值。
例如,指定最大进程数为 65535,指定文件句柄数为 20000(软限制,应用可以随时修改,不能超过硬限制) 和 40000(系统硬限制,只能 root 用户提高)。
ulimits:
nproc: 65535
nofile:
soft: 20000
hard: 40000
数据卷所挂载路径设置。可以设置为宿主机路径(HOST:CONTAINER)或者数据卷名称(VOLUME:CONTAINER),并且可以设置访问模式 (HOST:CONTAINER:ro)。
该指令中路径支持相对路径。
volumes:
- /var/lib/mysql
- cache/:/tmp/cache
- ~/configs:/etc/configs/:ro
如果路径为数据卷名称,必须在文件中配置数据卷。
version: "3"
services:
my_src:
image: mysql:8.0
volumes:
- mysql_data:/var/lib/mysql
volumes:
mysql_data:
此外,还有包括domainname, entrypoint, hostname, ipc, mac_address, privileged, read_only, shm_size, restart, stdin_open, tty, user, working_dir等指令,基本跟docker run 中对应参数的功能一致。
指定服务容器启动后执行的入口文件。
entrypoint: /code/entrypoint.sh
指定容器中运行应用的用户名。
user: nginx
指定容器中工作目录。
working_dir: /code
指定容器中搜索域名、主机名、mac 地址等。
domainname: your_website.com
hostname: test
mac_address: 08-00-27-00-0C-0A
允许容器中运行一些特权命令。
privileged: true
指定容器退出后的重启策略为始终重启。该命令对保持服务始终运行十分有效,在生产环境中推荐配置为always或者 unless-stopped。
restart: always
以只读模式挂载容器的 root 文件系统,意味着不能对容器内容进行修改。
read_only: true
打开标准输入,可以接受外部输入。
stdin_open: true
模拟一个伪终端。
tty: true
Compose模板文件支持动态读取主机的系统环境变量和当前目录下的.env文件中的变量。
例如,下面的Compose文件将从运行它的环境中读取变量${MONGO_VERSION}的值,并写入执行的指令中。
version: "3"
services:
db:
image: "mongo:${MONGO_VERSION}"
如果执行MONGO_VERSION=3.2 docker-compose up则会启动一个mongo:3.2镜像的容器;如果执行MONGO_VERSION=2.8 docker-compose up则会启动一个mongo:2.8镜像的容器。
若当前目录存在.env文件,执行docker-compose命令时将从该文件中读取变量。
在当前目录新建.env文件并写入以下内容。
# 支持 # 号注释
MONGO_VERSION=3.6
执行docker-compose up则会启动一个mongo:3.6镜像的容器。
现在将使用Docker Compose配置并运行一个Django/PostgreSQL应用。
在一切工作开始前,需要先编辑好三个必要的文件。
FROM python:3
ENV PYTHONUNBUFFERED 1
RUN mkdir /code
WORKDIR /code
COPY requirements.txt /code/
RUN pip install -r requirements.txt
COPY . /code/
以上内容指定应用将使用安装了Python以及必要依赖包的镜像。
requirements.txt文件里面写明需要安装的具体依赖包名。Django>=2.0,<3.0
psycopg2>=2.7,<3.0
docker-compose.yml文件将把所有的东西关联起来。它描述了应用的构成(一个web服务和一个数据库)、使用的Docker镜像、镜像之间的连接、挂载到容器的卷,以及服务开放的端口。version: "3"
services:
db:
image: postgres
environment:
POSTGRES_PASSWORD: 'postgres'
web:
build: .
command: python manage.py runserver 0.0.0.0:8000
volumes:
- .:/code
ports:
- "8000:8000"
现在我们就可以使用docker-compose run命令启动一个Django应用了。
$ docker-compose run web django-admin startproject django_example .
由于web服务所使用的镜像并不存在,所以Compose会首先使用Dockerfile为web服务构建一个镜像,接着使用这个镜像在容器里运行django-admin startproject django_example指令。
这将在当前目录生成一个Django应用。
$ ls
Dockerfile docker-compose.yml django_example manage.py re
如果你的系统是Linux,记得更改文件权限。
$ sudo chown -R $USER:$USER .
首先,我们要为应用设置好数据库的连接信息。用以下内容替换django_example/settings.py文件中DATABASES = ...定义的节点内容。
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.postgresql',
'NAME': 'postgres',
'USER': 'postgres',
'HOST': 'db',
'PORT': 5432,
'PASSWORD': 'postgres',
}
}
这些信息是在postgres镜像固定设置好的。然后,运行docker-compose up:
$ docker-compose up
django_db_1 is up-to-date
Creating django_web_1 ...
Creating django_web_1 ... done
Attaching to django_db_1, django_web_1
db_1 | The files belonging to this database system will be owned by user "postgres".
db_1 | This user must also own the server process.
db_1 |
db_1 | The database cluster will be initialized with locale "en_US.utf8".
db_1 | The default database encoding has accordingly been set to "UTF8".
db_1 | The default text search configuration will be set to "english".
web_1 | Performing system checks...
web_1 |
web_1 | System check identified no issues (0 silenced).
web_1 |
web_1 | November 23, 2017 - 06:21:19
web_1 | Django version 1.11.7, using settings 'django_example.settings'
web_1 | Starting development server at http://0.0.0.0:8000/
web_1 | Quit the server with CONTROL-C.
这个Django应用已经开始在你的Docker守护进程里监听着8000端口了。打开127.0.0.1:8000即可看到Django欢迎页面。
你还可以在Docker上运行其它的管理命令,例如对于同步数据库结构这种事,在运行完docker-compose up后,在另外一个终端进入文件夹运行以下命令即可:
$ docker-compose run web python manage.py syncdb