Elasticsearch：使用 Docker-Compose 启动单节点 Elastic Stack

首先必须指出的是，在我之前的文章 “Elasticsearch：使用 Docker compose 来一键部署 Elastic Stack 8.x”，我有详述根据官方文档如何创建一个带有三个节点的安全 Elasticsearch 集群。本文基于著名的 Deviatony 存储库和 Elastic 的官方说明。 建议先通读这些说明，如果你已经可以根据这些说明开始搭建你自己的 Elastic Stack，则可以跳过本指南。

1）为什么选择 Elastic Stack？

Elastic Stack（以前称为 ELK stack）是三个开放及免费产品的集合 —— Elasticsearch、Logstash 和 Kibana。

• Elasticsearch 是一个全文搜索和分析引擎
• Logstash 是一个日志聚合器，它从多个来源收集和处理数据，将其转换为通用格式，并将其发送到各种目的地，例如 Elasticsearch
• Kibana 允许用户在 Elasticsearch 中使用图表和图形可视化数据。

使用 Elastic Stack 的好处：

• 它是开放及免费的，这意味着它可以免费使用，并且可以根据你的需要进行定制。
• 它是一个完整的日志分析平台，用于搜索、分析和可视化来自不同机器的日志生成数据。
• 它可以安全地实时提取、分析和可视化来自任何来源和格式的数据。
• 还有很多 …

2）概述

与 Deviatony 的 repo 相比，本文所使用的 Elastic Stack 有更多的附加功能：

• 在 docker-compose.yml 中为容器环境变量提供默认值（请注意，仍然可以使用 .env 文件覆盖这些值）
• 为每个服务定制 Dockerfile
• 为每个服务定制入口点，使得在运行容器时可以执行额外的命令
• 使用 Logstash 管道加载到 Elasticsearch 的一些日志条目

3）设置

将此存储库克隆到你的 Docker 主机并 check out 分支 single-node-cluster：

git clone https://github.com/Uhuynh/elastic-stack-docker.git
git checkout single-node-cluster

主项目结构如下：

$ pwd
/Users/liuxg/data/elastic-stack-docker
$ tree -L 3
.
├── LICENSE
├── Makefile
├── docker-compose.setup.yml
├── docker-compose.yml
├── elasticsearch
│   ├── Dockerfile
│   ├── config
│   │   └── elasticsearch.yml
│   └── entrypoint.sh
├── kibana
│   ├── Dockerfile
│   ├── config
│   │   └── kibana.yml
│   └── entrypoint.sh
├── logstash
│   ├── Dockerfile
│   ├── config
│   │   ├── logstash.yml
│   │   └── pipelines.yml
│   ├── entrypoint.sh
│   ├── log_files
│   │   └── test.log
│   └── pipeline
│       └── test_logs.conf
├── markdown
│   ├── login_page.png
│   └── user-page.png
└── setup
    └── elasticsearch
        ├── Dockerfile
        ├── certs.sh
        ├── entrypoint.sh
        ├── helpers.sh
        ├── initialize.sh
        └── roles

elasticsearch.yml、kibana.yml 和 logstash.yml 是 Elastic Stack 中每个服务的主要配置文件。

创建证书

从 Elasticsearch 8.0 开始，默认启用安全性。 启用安全性后，Elastic Stack 安全功能需要对传输网络层进行 TLS 加密，否则你的集群将无法启动。

要开始使用 Elasticsearch 安全性，你需要生成证书颁发机构 (CA)，然后使用它为集群中的每个节点生成证书：

docker-compose -f docker-compose.setup.yml run --rm es_certs

$ docker-compose -f docker-compose.setup.yml run --rm es_certs
[+] Running 1/0
 ⠿ Network elastic-stack-docker_default  Create...                                        0.0s
[+] Running 11/11
 ⠿ es_certs Pulled                                                                       40.2s
   ⠿ 95e9c9b381a6 Pull complete                                                           5.2s
   ⠿ 9a45f418de13 Pull complete                                                           5.3s
   ⠿ 00871d1ebcfa Pull complete                                                           5.4s
   ⠿ 89732bc75041 Pull complete                                                           5.4s
   ⠿ f2cd942089ee Pull complete                                                          33.1s
   ⠿ 311f3ae295d1 Pull complete                                                          33.1s
   ⠿ e0351d108cd0 Pull complete                                                          33.2s
   ⠿ a88cdf3ed11e Pull complete                                                          33.2s
   ⠿ c168e6f97f22 Pull complete                                                          33.3s
   ⠿ 81858e17f7f1 Pull complete                                                          33.3s
Creating Certificate Authority...
Archive:  /certs/ca.zip
   creating: /certs/ca/
  inflating: /certs/ca/ca.crt        
  inflating: /certs/ca/ca.key        
Creating certs...
Archive:  /certs/certs.zip
   creating: /certs/es/
  inflating: /certs/es/es.crt        
  inflating: /certs/es/es.key        
Setting file permissions
Setup certs done!

这将启动 es_certs 容器，然后执行 ./setup/elasticsearch/certs.sh 中的 Bash 脚本。 请注意，容器必须由 root 用户运行。

成功运行后，你应该会在项目目录的 ./certs 文件夹中看到生成的证书和密钥：

$ ls
LICENSE                  docker-compose.yml       markdown
Makefile                 elasticsearch            setup
certs                    kibana
docker-compose.setup.yml logstash
$ pwd
/Users/liuxg/data/elastic-stack-docker
$ tree certs -L 2
certs
├── ca
│   ├── ca.crt
│   └── ca.key
├── es
│   ├── es.crt
│   └── es.key
└── instances.yml

然后，你可以将 Elasticsearch 配置为在与其他节点通信时使用这些证书进行身份验证和加密。

elasticsearch.yml

# in elasticsearch.yml
 
# Transport Protocol (inter-node communication)
# note: production nodes won't start without this feature
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.key: certs/es/es.key
xpack.security.transport.ssl.certificate: certs/es/es.crt
xpack.security.transport.ssl.certificate_authorities: certs/ca/ca.crt
 
# HTTP Protocol (communication between ES and Kibana / Logstash)
xpack.security.http.ssl.enabled: true
xpack.security.http.ssl.verification_mode: certificate
xpack.security.http.ssl.key: certs/es/es.key
xpack.security.http.ssl.certificate: certs/es/es.crt
xpack.security.http.ssl.certificate_authorities: certs/ca/ca.crt

kibana.yml

# in kibana.yml
 
## Communications between Kibana and Elasticsearch
## see https://www.elastic.co/guide/en/kibana/current/configuring-tls.html#configuring-tls-kib-es
elasticsearch.ssl.certificateAuthorities: config/certs/ca/ca.crt.crt

4）把 Elastic Stack 运行起来

我们在 terminal 中打入如下的命令：

docker-compose up -d

除了用于 Elasticsearch、Logstash 和 Kibana 的 3 个主要容器之外，还有一个设置容器，它运行一个初始脚本来为系统用户（kibana_system、logstash_system）设置密码并创建一个 logstash_internal 用户以将数据写入 Elasticsearch。 

你应该从设置容器中看到以下日志：

$ pwd
/Users/liuxg/data/elastic-stack-docker
$ ls
LICENSE                  docker-compose.yml       markdown
Makefile                 elasticsearch            setup
certs                    kibana
docker-compose.setup.yml logstash
$ docker-compose up -d
[+] Running 4/4
 ⠿ Container elastic-stack-docker-es-1        Ru...                                       0.0s
 ⠿ Container elastic-stack-docker-setup-1     Started                                     0.3s
 ⠿ Container elastic-stack-docker-kibana-1    Running                                     0.0s
 ⠿ Container elastic-stack-docker-logstash-1  Started                                     0.3s

最后我们看到如下的信息：

$ docker ps
CONTAINER ID   IMAGE                           COMMAND                  CREATED          STATUS                   PORTS                                            NAMES
de558e082f4a   elastic-stack-docker-logstash   "/opt/setup/entrypoi…"   41 seconds ago   Up 40 seconds            5044/tcp, 9600/tcp, 0.0.0.0:5100->5100/tcp       elastic-stack-docker-logstash-1
78b590b1e6c7   elastic-stack-docker-kibana     "/opt/setup/entrypoi…"   3 minutes ago    Up 3 minutes             0.0.0.0:5601->5601/tcp                           elastic-stack-docker-kibana-1
ef4e93ed4c16   elastic-stack-docker-es         "/opt/setup/entrypoi…"   3 minutes ago    Up 3 minutes (healthy)   0.0.0.0:9200->9200/tcp, 0.0.0.0:9300->9300/tcp   elastic-stack-docker-es-1

我们可以看到如上的三个容器正在运行。

注意：在没有定义 elastic 超级用户密码的情况下，它的默认密码是：elastic-pass。我们可以使用这个密码来登录 Kibana。

要自定义此初始脚本，你可以查看文件 ./setup/elasticsearch/initialize.sh

等待 1 到 2 分钟让堆栈完成设置，然后在浏览器中访问 Kibana localhost:5601 并使用 docker-compose.yml 中定义的用户 elastic 和密码登录

堆栈中已经配置了一个 Logstash 管道，用于将日志从 ./logstash/log_files/test.log 加载到 Elasticsearch 中。

导航到 Management -> Stack Management -> Kibana -> Data View 为这些日志条目创建 data view。

然后你可以导航到 Kibana Analytics -> Discover 以查看、搜索、分析日志条目并创建可视化。

使用 Elastic Stack 进行愉快的测试！希望对你学习之旅有所帮助！