Linux Docker 安装 Elasticsearch Logstash Kibana

Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口风格的搜索和数据分析引擎。

Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。

Logstash是 Elastic Stack 的中央数据流引擎（数据收集引擎），用于收集、丰富和统一所有数据，而不管格式或模式。

当Logstash与Elasticsearch，Kibana，及 Beats 共同使用的时候便会拥有特别强大的实时处理能力(ELK)。

1、Elasticsearch 搜索，下载，查询

# 搜索镜像
docker search elasticsearch
 
# 下载镜像
docker pull elasticsearch
docker pull elasticsearch:7.15.2
 
# 查看镜像
docker images

2、Logstash 搜索，下载，查询

# 搜索镜像
docker search logstash
 
# 下载镜像
docker pull logstash:7.15.2
 
# 查看镜像
docker images

3、Kibana 搜索，下载，查询

# 搜索镜像
docker search kibana
 
# 下载镜像
docker pull kibana:latest
docker pull kibana:7.15.2
 
# 查看镜像
docker images

4、创建挂载目录 Elasticsearch，集群目录

mkdir -p /home/20221125/myelk/es/{config,logs,data,plugins}
chown -R 1000:1000 /data/myelk/es
touch /home/20221125/myelk/es/config/elasticsearch.yml
 
# 创建集群文件夹目录
# node_1
mkdir -p /home/20221125/es_cluster/node_1/{config,logs,data}
mkdir -p /home/20221125/es_cluster/node_1/plugins/ik
 
# node_2
mkdir -p /home/20221125/es_cluster/node_2/{config,logs,data}
mkdir -p /home/20221125/es_cluster/node_2/plugins/ik
 
# node_3
mkdir -p /home/20221125/es_cluster/node_3/{config,logs,data}
mkdir -p /home/20221125/es_cluster/node_3/plugins/ik

5、创建挂载目录 Logstash

mkdir -p /home/20221125/myelk/logstash/{config,logs,pipeline}
mkdir -p /home/20221125/myelk/logstash/config/conf.d
chmod 777 -R /home/20221125/myelk/logstash
 
touch /home/20221125/myelk/logstash/config/logstash.yml
vim /home/20221125/myelk/logstash/config/logstash.yml
 
##增加配置
    http.host: "0.0.0.0"  # 注意 0.0.0.0 不是指定ip
    xpack.monitoring.enabled: true
    xpack.monitoring.elasticsearch.hosts: [ "http://192.168.31.196:9200" ]
    xpack.monitoring.elasticsearch.username: "elastic"  #es xpack账号
    xpack.monitoring.elasticsearch.password: "xxxx"     #es xpack账号
    path.config: /usr/share/logstash/config/conf.d/*.conf
    path.logs: /usr/share/logstash/logs

6、创建挂载目录 Kibana

mkdir -p /home/20221125/myelk/kibana/{config,data}
 
touch /home/20221125/myelk/kibana/config/kibana.yml
 
vim /home/20221125/myelk/kibana/config/kibana.yml
##增加配置
    server.name: kibana
    server.host: "0.0.0.0"
    server.port: 5601
    # 设置elasticsearch集群地址
    elasticsearch.hosts: ["http://192.168.1.1:9200","http://192.168.1.1:9201"]  #注意这里的ip不能是localhost，是本地的ip地址
    xpack.monitoring.ui.container.elasticsearch.enabled: true
    #设置kibana中文显示
    i18n.locale: zh-CN
    elasticsearch.url: "http://10.132.200.4:9200" #这里是7.0版本以下的配置，默认不支持集群，
    7.0版本的es的地址直接是“http://elasticsearch-cluster”直接这样配置访问

7、运行容器 Elasticsearch

# 容器 elasticsearch 样例1
docker run -it -p 9200:9200 -p 9300:9300 \
 --name first_es \
 -e ES_JAVA_OPTS="-Xms1g -Xmx1g" \
 -e "discovery.type=single-node" \
 --restart=always \
 -v /data/elk/es/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
 -v /data/elk/es/data:/usr/share/elasticsearch/data \
 -v /data/elk/es/logs:/usr/share/elasticsearch/logs \
 -v /data/elk/es/plugins:/usr/share/elasticsearch/plugins \
 -d elasticsearch:7.15.2
 
# 容器 elasticsearch 样例2
docker run --name first_elasticsearch -p 9200:9200  -p 9300:9300 \
 -e "discovery.type=single-node" \
 -e ES_JAVA_OPTS="-Xms84m -Xmx512m" \
 -v /opt/es_docker/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
 -v /opt/es_docker/data:/usr/share/elasticsearch/data \
 -v /opt/es_docker/plugins:/usr/share/elasticsearch/plugins \
 -d elasticsearch:7.15.2
 
# 容器 elasticsearch 样例3 集群
docker run --name es_node_1 -p 9201:9200  -p 9301:9300 \
 -privileged=true \
 -v /opt/es_docker/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
 -v /opt/es_docker/data:/usr/share/elasticsearch/data \
 -v /opt/es_docker/plugins:/usr/share/elasticsearch/plugins \
 -e "cluster.name=my-cluster" \
 -e "node.name=node-1" \
 -e "node.master=true" \
 -e "node.data=true" \
 -e "network.host=0.0.0.0" \
 -e "transport.tcp.port=9300" \
 -e "http.port=9200" \
 -e "cluster.initial_master_nodes=node-1" \
 -e "discovery.seed_hosts: ["192.168.1.100:9301","192.168.1.100:9302","192.168.1.100:9303"]" \
 -e "gateway.auto_import_dangling_indices=true" \
 -e "http.cors.enabled=true" \
 -e "http.cors.allow-origin:=*" \
 -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
 -e "discovery.type=single-node" \
 -e "TAKE_FILE_OWNERSHIP=true" \
 -d elasticsearch:7.15.2
 
# 参数说明：
 -privileged=true 设置特权级运行的容器，container内的root拥有真正的root权限
 -v 宿主机路径:容器路径
 -v es-data:/usr/share/elasticsearch/data：挂载逻辑卷，绑定es的数据目录
 -v es-logs:/usr/share/elasticsearch/logs：挂载逻辑卷，绑定es的日志目录
 -v es-plugins:/usr/share/elasticsearch/plugins：挂载逻辑卷，绑定es的插件目录
 --privileged：授予逻辑卷访问权
 --network es-net ：加入一个名为es-net的网络中
 -p 9200:9200：端口映射配置
 -e "cluster.name=es-docker-cluster"：设置集群名称
 -e "cluster.name=my-cluster"：设置集群名称
 -e "http.host=0.0.0.0"：监听的地址，可以外网访问
 -e "ES_JAVA_OPTS=-Xms512m -Xmx512m"：内存大小
 -e "discovery.type=single-node"：非集群模式，discovery.type=single-node（单机运行）
 -e "node.name=node-1"：节点名称
 -e "node.master=true"：是否可以成为master节点
 -e "node.data=true"：是否存储数据
 -e "network.host=0.0.0.0"：绑定主机ip地址，允许外网访问
 -e "transport.tcp.port=9300"：集群节点之间通讯交互的tcp端口
 -e "http.port=9200"：设置http端口
 -e "cluster.initial_master_nodes=node-1"：master节点默认为node-1
 -e "discovery.seed_hosts"：设置当前节点与哪些ES节点建立连接
 -e "gateway.auto_import_dangling_indices=true"：是否自动引入dangling索引，默认false
 -e "http.cors.enabled=true"：开启跨域访问
 -e "http.cors.allow-origin:=*"：跨域访允许的域名地址
 -e "ES_JAVA_OPTS=-Xms512m -Xmx512m"：默认jvm2G，设置jvm最小内存
 -e "TAKE_FILE_OWNERSHIP=true"：解决挂载目录权限问题
 
# 查看容器运行日志
docker logs first_es
docker logs first_elasticsearch
docker logs es_node_1
 
# 查看容器 hostname、ip地址、环境变量
docker exec first_elasticsearch hostname
docker exec first_elasticsearch ip addr
docker exec first_elasticsearch env
 
# 查看容器IP地址
docker inspect first_es
# "IPAddress": "172.17.0.2"
 
# 查看容器IP地址
docker inspect first_es | grep 'IPAddress'
 
# 进入容器
docker exec -it first_es /bin/bash
docker exec -it first_es bash
ls -l
 
# 停止和删除容器
docker stop first_elasticsearch && docker rm first_elasticsearch

8、运行容器 Logstash
*
*
*
9、运行容器 Kibana

docker run --name first_kibana \
 -p 5601:5601 \
 --log-driver json-file \
 --log-opt max-size=100m \
 --log-opt max-file=2 \
 -v /home/20221125/myelk/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml \
 --restart=always \
 -d kibana:7.15.2
 
# 查看容器运行日志
docker logs first_kibana
 
# 查看容器 hostname、ip地址、环境变量
docker exec first_elasticsearch hostname
docker exec first_elasticsearch ip addr
docker exec first_elasticsearch env
 
# 查看容器IP地址
docker inspect first_kibana
# "IPAddress": "172.17.0.2"
 
# 查看容器IP地址
docker inspect first_kibana | grep 'IPAddress'
 
# 进入容器
docker exec -it first_kibana /bin/bash
docker exec -it first_kibana bash
ls -l
 
# 停止和删除容器
docker stop first_kibana && docker rm first_kibana

*、数据包转发

# 跳转目录
cd /usr/lib/sysctl.d
 
# 查看文件
cat /usr/lib/sysctl.d/50-default.conf
 
# 编辑文件
vim /usr/lib/sysctl.d/50-default.conf
 
# 末尾添加内容
net.ipv4.ip_forward = 1
 
# 重启network
systemctl restart network

*、开放端口（需要外网访问）

# 查看防火墙状态
systemctl status firewalld
 
# 开放指定端口
firewall-cmd --add-port=9201/tcp --add-port=9202/tcp --add-port=9203/tcp --permanent
firewall-cmd --add-port=5601/tcp --permanent
 
# 重新加载
firewall-cmd --reload
 
# 查看开放端口
firewall-cmd --list-ports

*、验证
*
*
*
docker-compose

# Step 1: 创建 docker-compose.yml 文件
cd /home/20221125/myelk
vim docker-compose.yml
 
# Step 2: 编辑内容如下
version: '3'
services:
  elasticsearch:
    image: elasticsearch:7.15.2
    container_name: elasticsearch
    environment:
      - "cluster.name=elasticsearch"
      - "discovery.type=single-node"
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    volumes:
      - /data/elk/es/data:/usr/share/elasticsearch/data
      - /data/elk/es/logs:/usr/share/elasticsearch/logs
      - /data/elk/es/plugins:/usr/share/elasticsearch/plugins
    ports:
      - 9200:9200
  kibana:
    image: kibana:7.15.2
    container_name: kibana
    links:
      - elasticsearch:es
    depends_on:
      - elasticsearch
    environment:
      - "elasticsearch.hosts=http://es:9200"
    ports:
      - 5601:5601
  logstash:
    image: logstash:7.15.2
    container_name: logstash
    volumes:
      - /data/elk/logstash/logstash-snowy.conf:/usr/share/logstash/pipeline/logstash.conf
    depends_on:
      - elasticsearch
    links:
      - elasticsearch:es
    ports:
      - 4560:4560
 
# Step 3: 执行命令
docker-compose up -d

*
*
*