手把手教你搭建ELK

手把手教你搭建ELK-新手必看-第一章:什么是ELK?
手把手教你搭建ELK-新手必看-第二章:搭建ES
手把手教你搭建ELK-新手必看-第三章:搭建kibana

---

---

前言

前面我们搭建好了ES和kibana,这篇文章我们开始搭建logstash。

---

一、logstash是啥？

简单来说logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供里很多功能强大的滤网以满足你的各种应用场景。也可以直接收集日志到ES,但是一般情况我们会选择filebeat轻量级的收集器来进行日志收集。然后通过logstash进行过滤，最后传输到ES进行存储。

二、开始搭建logstash

我们一样使用docker来搭建logstash。
后台方式启动logstash

docker run -d --name=logstash logstash:7.5.1
1

等待1分钟左右。查看日志

docker logs -f logstash
1

出现

[logstash.agent] Successfully started Logstash API endpoint {:port=>9600}
说明已经运行成功。

启动成功后我们进入容器

docker exec -it 981c787a209e /bin/bash
1

编辑配置文件

cd config/
vi logstash.yml
1
2

设置配置文件

http.host: "0.0.0.0"
xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.hosts: [ "http://username:password@IP:9200" ] #这里是我们创建ES设置的账号密码以及IP
path.config: /usr/share/logstash/config/conf.d/*.conf #这里是收集日志的配置
path.logs: /usr/share/logstash/logs
1
2
3
4
5

再次进入这个配置
/usr/share/logstash/config/conf.d/
我们查看到配置是这样的

input { #输入 我们这里使用redis作为管道进行传输日志 所以消费redis就行
    redis {
        data_type => "list"
        host => "IP"
        port => "6379"
        db => "0"
        key => "systemlog"
    }
}

output { #输出消费redis队列中的日志到ES
    elasticsearch {
        hosts => ["IP:9200"]
        index => "redis-systemlog-%{+YYYY.MM.dd}"
        user => "用户名"
        password => "密码"
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

保存后重启容器

docker restart 981c787a209e

---

总结

今天我们讲了logstash的配置与搭建。