• ELK日志分析系统叙述与部署，嘎嘎详细

    文章目录

    前言

    ELK平台是一套完整的日志集中处理解决方案，将ElasticSearch、 Logstash 和Kibana三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求

    一，ELK日志分析系统概述

    1.ELK 简介

    ElasticSearch:

    是基于Lucene (- 一个全文检索引擎的架构)开发的分布式存储检索引擎，用来存储各类日志

    • Elasticsearch是用Java 开发的，可通过RESTful Web接口，让用户可以通过浏览器与Elasticsearch 通信

    • Elasticsearch是一个实时的，分布式的可扩展的搜索和分析引擎，允许进行全文，结构化搜索，它通常用于索引和搜索大容量的日志数据，也可以用于搜索许多不同类型的文档

    • 优点是能对大容量的数据进行接近实时的存储、搜索和分析操作

    Kiabana:

    • Kibana 通常与 Elasticsearch 一起部署，Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard,Kibana 提供图形化的 web 界面来刘览 Elasticsearch 日志数据，可以用来会做汇总、分析和搜索重要数据

    Logstash:

    • 作为数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置,一般会发送给Elasticsearch
    • Logstash由JRuby 语言编写，运行在Java虚拟机(JVM). 上， 是一款强大的数据处理工具,可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能，常用于日志处理

    可以添加的其他组件 Filebeat：

    • 轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装

    • Filebeat，并指定目录与日志格式，Filebeat 就能快速收集数据，并发送给logstash 进行解析，或是直接发给Elasticsearch存储，性能上相比运行于JVM上的logstash 优势明显，是对它的替代。

    filebeat 结合 logstash 的好处

      1. 通过Logstash具有基于磁盘的白适应缓冲系统，该系统将吸收传入的乔叶量，从而城轻Elast1 csearch持续写入数据的压力
      1. 从其他数据源（例如数据库，s3对象存储或消息传递队列）巾提取
      1. 将数据发送到多个日的地，例s3,HDFS(Hadoop分布式文件系统)或写入文件
      1. 使用条件数据流逻辑组成更复杂的处理管道

    缓存和消息队列的概念

    • 缓存/消息队列(redis、kafka、RabbitMQ等)：可以对高并发日志数据进行流量削峰和缓冲，这样的缓冲可以一定程度的保护数据不丢失，还可以对整个架构进行应用解耦

    Fluentd介绍：

    • Fluentd:是一个流行的开源数据收集器。由于logstash太重量级的缺点，Logstash性能低、资源消耗比较多等问题，随后就有Fluentd的出现
    • 相比较logstash,Fluentd更易用、资源消耗吏少、性能史高，在数据处理上更高效可靠，受到企业欢迎，成为logstash的一种替代方案，常应用于EFK架构当中
    • 在Kubernetes集群中也常使用EFK作为日志数据收集的方案
    • 在Kubernetes集群中一般是通过DaemonSet来运行Fluentd,以便它在每Kubernetes工作节点上都可以运行一个Pod
    • 它通过获取容器日志文件、过滤和转换日志数据，然后将数据传递到Elasticsearch集群，在该集群中对其进行索引和存储

    2.为什么要使用ELK

    • 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误
    • 往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析，但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如:开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使 用grep、awk和wc等Linux 命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心
    • 一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率

    3.完整日志系统基本特征

    • 收集: 能够采集多种来源的日志数据
    • 传输: 能够稳定的把日志数据解析过滤并传输到存储系统
    • 存储: 存储日志数据
    • 分析: 支持 UI 分析
    • 警告: 能够提供错误报告，监控机制

    4.ELK 的工作原理

    (1) 在所有需要收集日志的服务器上部署Logstash;或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署Logstash

    (2) Logstash 收集日志，将日志格式化并输出到Elasticsearch 群集中

    (3) Elasticsearch 对格式化后的数据进行索引和存储

    (4) Kibana 从ES群集中查询数据生成图表，并进行前端数据的展示
    在这里插入图片描述

    总结：loastash作为日志搜集器，从数据源采集数据，并付数据进行过滤，格式化处理，然后交由Elasticsearch存储，kibana对日志进行可视化处理展示

    5.ELK日志处理步骤

    • 1.将日志进行集中化管理（Beats）

    管理包含四种工具：
    Packetbeat（搜集网络流量数据）
    Topbeat（搜集系统、进程和文件系统级别的CPU和内存使用情况等数据）
    Filebeat（搜集文件数据）
    Winlogbeat（搜集Windows事件日志数据）

    • 2.将日志格式化（Logstash）并输出到Elasticsearch
    • 3.对格式化后的数据进行索引和存储（Elasticsearch）
    • 4.前端数据的展示（Kibana）

    在这里插入图片描述

    二，Elasticsearch 概述

    • 提供了一个分布式多用户能力的全文搜索引擎

    1.Elasticsearch特性

    • 接近实时
    • 集群
    • 节点
    • 索引
    • 索引（库）→类型（表）→文档（记录）
    • 分片和副本

    实际情况下，索引存储的数据可能超过单个节点的硬件限制，如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上，或者从单个节点搜索请求太慢了，为了解决这个问题，elasticsearch提供将索引分成多个分片的功能，当在创建索引时，可以定义想要分片的数量。每个分片就是一个全功能的独立索引，可以位于集群中任何节点上

    分片：

    • 1.水平分割扩展，增大存储量

    • 2.分布式并行跨分片操作，提供性能和吞吐量

    分布式分片的机制和搜索请求的文档如何汇总完全是有elasticsearch控制的，这些对用户而言是透明的

    副本：

    • 1.高可用性，以应对分片或者节点故障，出于这个原因，分片副本要在不同的节点上
    • 2.性能加强，增加吞吐量，搜索可以并行在所有副本上执行

    网络问题等等其他问题可以在任何时候不期而至，为了健壮性，强烈建议要有个故障切换机制，无论何种故障以防止分片或者节点不可用，为此，elasticsearch让我们将索引分片复制一份或多份，称为分片副本或副本

    三，LogStash 概述

    • 一款强大的数据处理工具
    • 可实现数据传输、格式处理、格式化输出
    • 数据输入、数据加工（如过滤，改写等）以及数据输出
    • 由三个组件组成：Input、Output、Filter Plugin

    Input：获取日志
    Output：输出日志
    Filter Plugin：过滤日志、格式处理

    1.LogStash主要组件

    Shipper

    Indexer

    Broker

    Search and Storage

    Web Interface

    四，Kibana 概述

    • 一个针对Elasticsearch的开源分析及可视化平台
    • 搜索、查看存储在Elasticsearch索引中的数据
    • 通过各种图表进行高级数据分析及展示

    1.Kibana主要功能

    • Elasticsearch无缝之集成
    • 整合数据，复杂数据分析
    • 让更多团队成员收益
    • 接口灵活，分享更容易
    • 配置简单、可视化多数据源
    • 简单数据导出

    五、部署 ELK

    “无图版本但全程命令可复制操作，就是懒着截”

    环境配置

    服务器类型 IP地址 安装的组件 硬件方面

    Node1节点 192.168.113.129 Elasticsearch 、 Kibana 4核4G

    Node2节点 192.168.113.130 Elasticsearch 4核4G

    Apache节点 192.168.113.128 Logstash,Apache 2核4G
    在这里插入图片描述

    配置基础环境

    #所有节点，关闭系统防火墙和安全机制
systemctl stop firewalld
systemctl disable firewalld
setenforce 0

    • 1
    • 2
    • 3
    • 4

    在这里插入图片描述

    1.ELK Elasticsearch 集群部署（在Node1、Node2节点上操作）

    这里都是在一台机器上展示操作的，实际两台都要做，不要俩台都要配置的，注意看文字会提示

    1.1环境准备

    #更改主机名
#Node1节点：
hostnamectl set-hostname node1
su -
#Node2节点：
hostnamectl set-hostname node2
su -
#Apache节点
hostnamectl set-hostname Apache
su -

#查看Java环境(三台都要)，桌面系统默认已安装
#建议同步安装下，更新一下版本让每台机器同步
[root@node1 opt]# yum -y install java
[root@node1 opt]# java -version   ##查看版本信息
openjdk version "1.8.0_342"
OpenJDK Runtime Environment (build 1.8.0_342-b07)
OpenJDK 64-Bit Server VM (build 25.342-b07, mixed mode)


#配置域名解析“（node1和node2）”
[root@node1 opt]# echo '192.168.113.129 node1' >> /etc/hosts
[root@node1 opt]# echo '192.168.113.130 node2' >> /etc/hosts
[root@node1 opt]# cat /etc/hosts

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24

    1.2部署 Elasticsearch 软件（node1和node2）

    192.168.113.129

    192.168.113.130

    #1.安装elasticsearch—rpm包
#上传elasticsearch-5.5.0.rpm到/opt目录下
cd /opt
[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm 

#2.加载系统服务
[root@node1 opt]# systemctl daemon-reload 
[root@node1 opt]# systemctl enable elasticsearch.service 

#3.修改elasticsearch主配置文件
[root@node1 opt]# cp /etc/elasticsearch/elasticsearch.yml{,.bak}  ##备份以免配置失误无法挽回，你要自信就随你咯
 或 cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
 
[root@node1 opt]# vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释，指定集群名字
cluster.name: my-elk-cluster
--23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
node.name: node1
--33--取消注释，指定数据存放路径
path.data: /data/elk_data
--37--取消注释，指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释，改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释，设置监听地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释，ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释，集群发现通过单播实现，指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

#查看刚刚编辑好的配皆文件过滤注释项，就是我们刚刚编辑的几行
[root@node1 opt]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster
node.name: node1   #注node2节点要改为node2
path.data: /data/elk_data
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]、

#4.创建数据存放路径并授权
#这个数据存放路径是不存在的，自己创建一个并为其修改属主属组
[root@node1 opt]# mkdir -p /data/elk_data
[root@node1 opt]# chown elasticsearch:elasticsearch /data/elk_data/

#5.启动elasticsearch是否成功开启
#开启服务检测服务是否开启，等10s左右
[root@node1 opt]# systemctl start elasticsearch.service 
[root@node1 opt]# netstat -natp | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      17854/java  

#6.查看节点信息
#查看节点 Node1、Node2 的信息。
#浏览器访问  http://192.168.113.129:9200  http://192.168.113.130:9200 

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56

    image-20220829173456328

    #检查群集状态信息
浏览器访问
http://192.168.113.129:9200/_cluster/state?pretty  
http://192.168.113.130:9200/_cluster/state?pretty  

    • 1
    • 2
    • 3
    • 4

    image-20220829173741506

    使用上述方式查看群集的状态对用户并不友好，可以通过安装 Elasticsearch-head 插件，可以更方便地管理群集

    2.1安装 Elasticsearch-head 插件

    • Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装
    • 安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs
    • node：是一个基于 Chrome V8 引擎的 JavaScript 运行环境
    • phantomjs：是一个基于 webkit 的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于 webkit 浏览器做的事情，它都可以做到

    192.168.113.129

    192.168.113.130

    #1.编译安装 node
#上传软件包 node-v8.2.1.tar.gz 到/opt
#安装所需编译环境
[root@node1 opt]# yum install gcc gcc-c++ make -y
cd /opt
tar zxvf node-v8.2.1.tar.gz
[root@node1 opt]# cd node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure 
[root@node1 node-v8.2.1]# make -j 4 && make install   ##耐心等待需要时间有点久

#2.安装 phantomjs
#上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到/opt
[root@node1 node-v8.2.1]# cd /opt
[root@node1 opt]# tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
[root@node1 opt]# cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin/   ##切换至解压目录
[root@node1 bin]# cp phantomjs /usr/local/bin/   #将phantomjs可执行命令复制到路径环境变呈中，便于系统识别，也可以使用软链接

#3.安装 Elasticsearch-head 数据可视化工具
#上传软件包 elasticsearch-head.tar.gz 到/opt
cd /opt
[root@node1 opt]# tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
[root@node1 opt]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm install  ##npm插件是基于前端开发，安装直接使用npm install


#4.修改 Elasticsearch 主配置文件
[root@node1 elasticsearch-head]# vim/etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下内容--
http.cors.enabled: true				#开启跨域访问支持，默认为 false
http.cors.allow-origin: "*"			#指定跨域访问,允许的域名地址为所有
[root@node1 elasticsearch-head]# systemctl restart elasticsearch.service   ##重启服务

#5.启动 elasticsearch-head 服务
#必须在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败
[root@node1 elasticsearch-head]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm run start &
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
#回车就退出页面了

#elasticsearch-head 监听的端口是 9100
[root@node1 elasticsearch-head]# netstat -natp | grep 9100
tcp        0      0 0.0.0.0:9100            0.0.0.0:*               LISTEN      64114/grunt    

#6.通过 Elasticsearch-head 查看 Elasticsearch 信息
通过浏览器访问
http://192.168.113.129:9100/ 
http://192.168.113.130:9100/ 
地址并连接群集。如果看到群集健康值为 green 绿色，代表群集很健康

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 在Elasticsearch 后面的栏目中输入并连接
    http://192.168.113.129:9200   
http://192.168.113.130:9200 

    • 1
    • 2

    image-20220829194648258

    image-20220829194727680

    • 然后点连接 会发现：集群健康值: green (0 of 0)
    #7.插入索引
#通过命令插入一个测试索引，索引为 index-demo，类型为 test
[root@node1 elasticsearch-head]# curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
//输出结果如下：
{
"_index" : "index-demo",
"_type" : "test",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 2,
"failed" : 0
},
"created" : true
}

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17

    在这里插入图片描述

    浏览器访问 http://192.168.113.129:9100/ 查看索引信息，可以看见索引默认被分片5个，并且有一个副本

点击“数据浏览”，会发现在node1上创建的索引为 index-demo，类型为 test 的相关信息

http://192.168.113.129:9100
http://192.168.113.130:9100

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    image-20220829195249174

    image-20220829195312610

    2.ELK Logstash 部署（在 Apache 节点上操作）

    Logstash 一般部署在需要监控其日志的服务器。在本案例中，Logstash 部署在 Apache 服务器上，用于收集 Apache 服务器的日志信息并发送到 Elasticsearch

    192.168.113.128

    #1.更改主机名,防火墙记得关
hostnamectl set-hostname apache

#2.安装Apahce服务（httpd）
[root@apache ~]# yum -y install httpd
[root@apache ~]# systemctl start httpd

#3.安装Java环境
[root@apache ~]# yum -y install java
[root@apache ~]# java -version

#4.安装logstash
#上传软件包 logstash-5.5.1.rpm 到/opt目录下
[root@apache ~]# cd /opt
[root@apache opt]# rpm -ivh logstash-5.5.1.rpm 
[root@apache opt]# systemctl start logstash.service
[root@apache opt]# systemctl enable logstash.service
#创建软链接，便于系统识别
[root@apache opt]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19

    2.1测试 Logstash

    Logstash 命令常用选项：

    选项 说明
    -f 通过这个选项可以指定 Logstash 的配置文件，根据配置文件配置 Logstash 的输入和输出流

    -e 从命令行中获取，输入、输出后面跟着字符串，该字符串可以被当作 Logstash 的配置（如果是空，则默认使用 stdin 作为输入，stdout 作为输出）

    -t 测试配置文件是否正确，然后退出

    定义输入和输出流：

    #输入采用标准输入，输出采用标准输出（类似管道）
# -e 是将后而的字符当作配苦文件.写入标准输入，输出标准输出
[root@apache opt]# logstash -e 'input { stdin{} } output { stdout{} }'
......
www.baidu.com
2022-08-29T12:05:13.498Z apache www.baidu.com
www.sina.com.cn
2022-08-29T12:05:27.352Z apache www.sina.com.cn

##执行 ctrl+c 退出

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10

    image-20220829200557506

    #使用 rubydebug 输出详细格式显示，codec 为一种编解码器
#rubydebug显示详细输出，codec为一种解码器，将输入的内容，解码后进行详细输出
[root@apache opt]# logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
......
www.baidu.com
{
    "@timestamp" => 2022-08-29T12:10:19.732Z,
      "@version" => "1",
          "host" => "apache",
       "message" => "www.baidu.com"
}

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11

    image-20220829201039157

    #使用 Logstash 将信息写入 Elasticsearch 中
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.113.129:9200"] } }'
			 输入				输出			对接
......
www.baidu.com										#键入内容（标准输入）
www.sina.com.cn										#键入内容（标准输入）
www.google.com										#键入内容（标准输入）

//结果不在标准输出显示，而是发送至 Elasticsearch 中，可浏览器访问 http://192.168.113.129:9100/ 查看索引信息和数据浏览

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9

    image-20220829201727286

    #真机访问，查看索引信息
打开浏览器 输入http://192.168.113.129:9100/ 查看索引信息

    • 1
    • 2

    image-20220829201856270

    2.2定义 logstash配置文件

    Logstash 配置文件基本由三部分组成：input、output 以及 filter（可选，根据需要选择使用

    #格式如下：
input {...}
filter {...}
output {...}


#在每个部分中，也可以指定多个访问方式。例如，若要指定两个日志来源文件，则格式如下：
input {
	file { path =>"/var/log/messages" type =>"syslog"}
	file { path =>"/var/log/httpd/access.log" type =>"apache"}
}

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    #修改 Logstash 配置文件，让其收集系统日志/var/log/messages，并将其输出到 elasticsearch 中
[root@apache opt]# chmod +r /var/log/messages   
[root@apache opt]# ll /var/log/messages 
-rw-r--r--. 1 root root 2154749 8月  29 20:21 /var/log/messages

[root@apache opt]# vim /etc/logstash/conf.d/system.conf
input {
    file{
        path =>"/var/log/messages"						#指定要收集的日志的位置
        type =>"system"									#自定义日志类型标识
        start_position =>"beginning"					#表示从开始处收集
    }
}
output {
    elasticsearch {										#输出到 elasticsearch
        hosts => ["192.168.113.129:9200"]				#指定 elasticsearch 服务器的地址和端口
        index =>"system-%{+YYYY.MM.dd}"					#指定输出到 elasticsearch 的索引格式
    }
}
#####################################################################
input {
    file{
        path =>"/var/log/messages"						
        type =>"system"									
        start_position =>"beginning"					
    }
}
output {
    elasticsearch {										
        hosts => ["192.168.113.129:9200"]				
        index =>"system-%{+YYYY.MM.dd}"					
    }
}
[root@apache opt]# systemctl restart logstash   ##重启服务

#浏览器访问 http://192.168.113.129:9100/ 查看索引信息

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36

    image-20220829202549138

    3.ELK Kibana 部署（在 Node1 节点上操作）

    单台机器操作了 192.168.113.129 （Node1）

    #1.安装 Kiabana
#上传软件包 kibana-5.5.1-x86_64.rpm 到/opt目录
cd /opt
[root@node1 opt]# rpm -ivh kibana-5.5.1-x86_64.rpm 

#2.设置 Kibana 的主配置文件
[root@node1 kibana]# cp /etc/kibana/kibana.yml{,.bak} ##备份一下
[root@node1 kibana]# vim /etc/kibana/kibana.yml
--2--取消注释，Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释，设置 Kiabana 的监听地址，0.0.0.0代表所有地址
server.host: "0.0.0.0"
--21--取消注释，设置和 Elasticsearch 建立连接的地址和端口
elasticsearch.url: "http://192.168.113.129:9200" 
--30--取消注释，设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"

#3.启动 Kibana 服务
[root@node1 kibana]# systemctl start kibana.service
[root@node1 kibana]# systemctl enable kibana.service
[root@node1 kibana]# netstat -natp | grep 5601
tcp        0      0 0.0.0.0:5601            0.0.0.0:*               LISTEN      50325/node   

#4.验证 Kibana
浏览器访问 http://192.168.113.129:5601

第一次登录需要添加一个 Elasticsearch 索引：
Index name or pattern
//输入：system-*			#在索引名中输入之前配置的 Output 前缀“system”


- 单击 “create” 按钮创建，单击 “Discover” 按钮可查看图表信息及日志信息。
- 数据展示可以分类显示，在“Available Fields”中的“host”，然后单击 “add”按钮，可以看到按照“host”筛选后的结果

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33

    image-20220829205332358

    在这里插入图片描述

    image-20220829205501344

    #5.将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示 （192.168.113.128机器操作，也就是在装了apache机器）
[root@node1 opt]# vim /etc/logstash/conf.d/apache_log.conf
input {
    file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
    }
    file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
    }
}
output {
    if [type] == "access" {
        elasticsearch {
            hosts => ["192.168.113.129:9200"]
            index => "apache_access-%{+YYYY.MM.dd}"
        }
    }
	if [type] == "error" {
        elasticsearch {
            hosts => ["192.168.113.129:9200"]
            index => "apache_error-%{+YYYY.MM.dd}"
        }
    }
}

[root@apache opt]# cd /etc/logstash/conf.d/
[root@apache conf.d]# /usr/share/logstash/bin/logstash -f apache_log.conf

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31

    image-20220830083653264

    浏览器访问 http://192.168.113.129:5601 登录 Kibana，单击“Create Index Pattern”按钮添加索引， 在索引名中输入之前配置的 Output 前缀 apache_access-*，并单击“Create”按钮。在用相同的方法添加 apache_error-*索引

    image-20220829210332531

    image-20220829210352051

    同样添加apache_error

    image-20220829210431422

    选择“Discover”选项卡，在中间下拉列表中选择刚添加的 apache_access-* 、apache_error-* 索引， 可以查看相应的图表及日志信息

    image-20220830084459032

    image-20220830084529358

    4. Filebeat+ELK 部署

    环境配置

    主机 IP地址 安装包 / 软件 / 工具
    Node1节点（2C/4G） node1/192.168.113.129 Elasticsearch Kibana
    Node2节点（2C/4G） node2/192.168.113.130 Elasticsearch
    Apache节点 apache/192.168.113.128 Logstash Apache
    Filebeat节点 filebeat/192.168.113.126 Filebeat

    192.168.113.126

[root@filebeat ~]# systemctl stop firewalld
[root@filebeat ~]# systemctl disable firewalld
[root@filebeat ~]# setenforce 0

#1.安装 Filebeat
#上传软件包 filebeat-6.6.0-linux-x86_64.tar.gz 到/opt目录
[root@filebeat opt]# tar zxvf filebeat-6.6.0-linux-x86_64.tar.gz 
[root@filebeat opt]# mv filebeat-6.6.0-linux-x86_64 /usr/local/filebeat

#2.设置 filebeat 的主配置文件
[root@filebeat opt]# cd /usr/local/filebeat/
[root@filebeat filebeat]# cp filebeat.yml{,.bak} ##备份
[root@filebeat filebeat]# vim filebeat.yml
......
filebeat.prospectors:
- type: log         #21行，指定 log 类型，从日志文件中读取消息，默认是开启的
  enabled: true     #24行，fales 改为 ture，开始日志
  paths:            #27行 下添加
    - /var/log/messages       #指定监控的日志文件
    - /var/log/*.log
  fields:           #49行添加以下内容，可以使用 fields 配置选项设置一些参数字段添加到 output 中，注每次冒号敲完后，要空格后再写东西不然回报错，因为是默认格式
    service_name: filebeat  
    log_type: log
    service_id: 192.168.113.126  ##地址是安装 Filebeat的机器

--------------Elasticsearch output-------------------
(151行到164内没注释的全部注释掉)

----------------Logstash output---------------------
output.logstash:   #165行取消注释
  hosts: ["192.168.113.128:5044"]      #167行取消注释，指定 logstash（安装Apache的机器） 的 IP 和端口
  ......

#3.启动 filebeat
[root@filebeat filebeat]# pwd  #要在绝对路径下启动
/usr/local/filebeat
[root@filebeat filebeat]# ./filebeat -e -c filebeat.yml

#4.在 Logstash 组件所在节点上新建一个 Logstash 配置文件（192.168.113.128）
[root@apache ~]# cd /etc/logstash/conf.d/
[root@apache conf.d]# vim logstash.conf
input {
    beats {
        port => "5044"
    }
}
output {
    elasticsearch {
        hosts => ["192.168.113.129:9200"]  ##指定的es主机ip因为要存储
        index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
    }
    stdout {
        codec => rubydebug
    }
}

#启动 logstash
[root@apache conf.d]# pwd
/etc/logstash/conf.d
[root@apache conf.d]# logstash -f logstash.conf 

##浏览器验证测试 192.168.113.129:9100

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56
    • 57
    • 58
    • 59
    • 60
    • 61
    • 62
    • 63
    • 64

    ​ image-20220830160055850

    5．浏览器访问 http://192.168.113.129:5601 登录 Kibana，单击“Create Index Pattern”按钮添加索引“filebeat-*”，单击 “create” 按钮创建，单击 “Discover” 按钮可查看图表信息及日志信息

    image-20220830160404677

    image-20220830160421890

    image-20220830160458255

    image-20220830160611033

    image-20220830160625227
    image-20220830160658869

  • 相关阅读:
    从CPU100%高危故障到稳定在10%：一个月的优化之旅，成功上线！
    工厂方法模式
    SetUp
    【计算机毕业设计】211校园约拍微信小程序
    供应链和物流的自动化新时代
    Spring Boot项目怎么对System.setProperty(key, value)设置的属性进行读取加解密
    《机器学习实战》10.K-均值聚类算法
    基于Fasthttp实现的Gateway，性能媲美Nginx
    闭着眼睛安装Neoj4版本（5.12.0 Community windows）
    Linux创建YUM仓库
  • 原文地址：https://blog.csdn.net/weixin_61269220/article/details/126635832