-
ELK + Filebeat 分布式日志管理平台部署
ELK + Filebeat 分布式日志管理平台部署
1、前言
在运维中，日志是非常重要的工具，用于记录系统、应用程序或设备的运行状态、事件和异常情况。
1.1日志分析的作用
（1）故障排除和问题诊断
日志是排查故障和诊断问题的关键信息源。通过分析日志文件，可以查找和定位系统故障、错误和异常，帮助运维人员迅速找出问题的根本原因，并采取正确的修复措施。
（2）性能分析和优化
通过监视和分析系统日志，可以了解系统的性能瓶颈、资源消耗情况和关键指标。运维人员可以根据日志中的数据，优化系统配置、调整资源分配，以提高系统的性能和响应能力。
（3）安全监控和威胁检测
日志可以帮助监控系统的安全性，并检测潜在的安全威胁。通过分析日志，可以发现异常登录、未授权访问、恶意行为等安全问题，并及时采取措施进行应对和防范。
（4）运营分析和规划
通过日志分析，可以更好地了解用户需求，进行容量规划，制定有效的运维策略和决策。（5）合规性和审计
通过记录和保留日志，可以应对合规性规定，并提供必要的审计跟踪，以满足法规和行业标准的要求。因此，对于任何系统或应用程序，设置合适的日志记录和日志分析机制是非常重要的一环。
1.2需要收集的日志
系统日志：为监控做准备，要收集tomcat系统日志，tomcat所在节点的日志。
服务日志：比如数据库mysql，收集慢查询日志、错误日志、普通日志，要收集tomcat服务日志。
业务日志（业务日志必须收集）：业务口子日志在log4j，log4j是由java环境开发的，跑在tomcat上。1.3完整日志系统的基本特征
- 收集：能够采集多种来源的日志数据
- 传输：能够稳定的把日志数据解析过滤并传输到存储系统
- 存储：存储日志数据
- 分析：支持UI分析
- 警告：能够提供错误报告，监控机制
2、ELK概述
2.1ELK简介
ELK平台是一套完整的日志集中处理解决方案。
将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。
2.2为什么要用ELK?
集中化管理日志后，日志的统计和检索的效率降低。
ELK 提供了一个完整的日志管理和分析解决方案，能够帮助用户更好地理解数据、监控系统性能并进行故障排除。
2.3ELK的组件
基础组件：Elasticsearch、Logstash、Kibana扩展组件：Filebeat、Fluentd
3、ELK组件详解
3.1Logstash
3.1.1简介
Logstash 实现了数据的收集和处理。
Logstash 是一个可扩展的数据收集、转换和传输工具。它可以从各种来源（如日志文件、消息队列、数据库等）收集数据，并将其转换为统一的格式，然后发送到 Elasticsearch 进行存储和分析。
Logstash 提供了丰富的输入插件font>和输出插件，可以与各种数据源和目标进行集成。
它还具有强大的过滤功能，可以对数据进行处理、过滤和转换，以满足不同的业务需求。
3.1.2Logstash命令常用选项
#Logstash 命令常用选项 -f：通过这个选项可以指定 Logstash 的配置文件，根据配置文件配置 Logstash 的输入和输出流 -e：从命令行中获取，输入、输出后面跟着字符串，该字符串可以被当作 Logstash 的配置（如果是空，则默认使用 stdin 作为输入，stdout 作为输出） -t：测试配置文件是否正确，然后退出。- 1
- 2
- 3
- 4
- 5
- 6
- 7
3.1.3Logstash 的输入和输出流
1、定义输入和输出流
#输入采用标准输入 #输出采用标准输出（类似管道） #新版本默认使用 rubydebug 格式输出 logstash -e 'input { stdin{} } output { stdout{} }'- 1
- 2
- 3
- 4
2、使用 rubydebug 输出详细格式显示
#codec 为一种编解码器 logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'- 1
- 2
3.1.4Logstash配置文件
Logstash 配置文件基本由三部分组成：input、output 以及 filter。
filter部分选择性添加，可以没有。input部分：
表示从数据源采集数据。
常见的数据源如Kafka、日志文件等。
file beats kafka redis stdin#基本格式 input {...}- 1
- 2
filter部分：
数据处理层，包括对数据进行格式化处理、数据类型转换、数据过滤等，支持正则表达式。
#基本格式 filter {...}- 1
- 2
ouput部分：表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。
elasticsearch stdout
#基本格式 output {...}- 1
- 2
在每个部分中，也可以指定多个访问方式
#举个例子，若要指定两个日志来源文件，则格式如下： input { file { path =>"/var/log/messages" type =>"syslog"} file { path =>"/var/log/httpd/access.log" type =>"apache"} }- 1
- 2
- 3
- 4
- 5
3.2ElasticSearch
Elasticsearch 提供了强大的搜索和分析引擎。
Elasticsearch 是一个分布式、实时的搜索和分析引擎。
它基于 Lucene 搜索引擎库构建，具有分布式搜索、实时数据分析、高性能和高可伸缩性的特点。
Elasticsearch 可以存储和索引大规模的数据(比如日志），并提供快速的全文搜索、条件过滤、聚合和分析功能。
3.3Kiabana
Kibana 提供了可视化和交互式分析的界面。
Kibana 是一个针对Elasticsearch的开源数据分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。
使用Kibana，可以通过各种图表进行高级数据分析及展示，创建自定义仪表盘font>来展示关键指标和监控警报。3.4Filebeat
3.4.1简介
轻量级的开源日志文件数据搜集器。
通常在需要采集数据的客户端安装
Filebeat，并指定目录与日志格式，Filebeat就能快速收集数据，并发送给logstash进行解析，或是直接发给Elasticsearch存储。性能上相比运行于 JVM 上的
logstash优势明显，是对它的替代。
常应用于 EFLK 架构当中。3.4.2filebeat 结合 logstash 带来好处：
（1）通过 Logstash 具有基于磁盘的自适应缓冲系统，该系统将吸收传入的吞吐量，从而减轻 Elasticsearch
持续写入数据的压力；
（2）从其他数据源（例如数据库，S3对象存储或消息传递队列）中提取；
（3）将数据发送到多个目的地，例如S3，HDFS（Hadoop分布式文件系统）或写入文件；
（4）使用条件数据流逻辑组成更复杂的处理管道。3.5缓存/消息队列（redis、kafka、RabbitMQ等）
对高并发日志数据进行流量削峰和缓冲。 对高并发日志数据进行流量削峰和缓冲。
3.6Fluentd
Fluentd是一个流行的开源数据收集器。
由于 logstash 太重量级的缺点，Logstash 性能低、资源消耗比较多等问题，随后就有 Fluentd 的出现。
相比较 logstash，Fluentd 更易用、资源消耗更少、性能更高，在数据处理上更高效可靠，受到企业欢迎，成为 logstash 的一种替代方案，常应用于 EFK 架构当中。
在 Kubernetes 集群中也常使用 EFK 作为日志数据收集的方案。
在 Kubernetes 集群中一般是通过 DaemonSet 来运行 Fluentd，以便它在每个 Kubernetes 工作节点上都可以运行一个 Pod。
它通过获取容器日志文件、过滤和转换日志数据，然后将数据传递到 Elasticsearch 集群，在该集群中对其进行索引和存储。
4、ELK的工作原理
（1）在所有需要收集日志的服务器上部署Logstash，或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署 Logstash。
（2）Logstash 收集日志，将日志格式化并输出到 Elasticsearch 群集中。
（3）Elasticsearch 对格式化后的数据进行索引和存储。
（4）Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示。
综上所述：
logstash作为日志搜集器，从数据源采集数据，并对数据进行过滤，格式化处理，然后交由Elasticsearch存储，kibana对日志进行可视化处理。5、部署ELK（Logstash作为日志收集器）
ELK Elasticsearch 集群部署（在Node1、Node2节点上操作）
环境准备 #关闭防火墙 systemctl stop firewalld setenforce 0 #设置Java环境 java -version- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
更改主机名、配置域名解析 Node1节点（192.168.190.100）： hostnamectl set-hostname node1 su echo "192.168.190.100 node1" >> /etc/hosts echo "192.168.190.200 node2" >> /etc/hosts Node2节点（192.168.190.200）： hostnamectl set-hostname node2 su echo "192.168.190.100 node1" >> /etc/hosts echo "192.168.190.200 node2" >> /etc/hosts Apache节点（192.168.190.101）： hostnamectl set-hostname apache su- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
部署 Elasticsearch 软件 安装elasticsearch—rpm包 #上传elasticsearch-6.7.2.rpm到/opt目录下 cd /opt rpm -ivh elasticsearch-6.7.2.rpm- 1
- 2
- 3
- 4
- 5
- 6
修改elasticsearch主配置文件 cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak vim /etc/elasticsearch/elasticsearch.yml --17--取消注释，指定集群名字 cluster.name: my-elk-cluster --23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2 node.name: node1 node.master: true #是否master节点，false为否 node.data: true #是否数据节点，false为否 --33--取消注释，指定数据存放路径 path.data: /var/lib/elasticsearch --37--取消注释，指定日志存放路径 path.logs: /var/log/elasticsearch --43--取消注释，避免es使用swap交换分区 bootstrap.memory_lock: true --55--取消注释，设置监听地址，0.0.0.0代表所有地址 network.host: 0.0.0.0 --59--取消注释，ES 服务的默认监听端口为9200 http.port: 9200 #指定es集群提供外部访问的接口 transport.tcp.port: 9300 #指定es集群内部通信接口 --68--取消注释，集群发现通过单播实现，指定要发现的节点 discovery.zen.ping.unicast.hosts: ["192.168.190.100:9300", "192.168.190.200:9300"]- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
es 性能调优参数 需重启生效 #优化最大内存大小和最大文件描述符的数量 vim /etc/security/limits.conf ...... soft nofile 65536 hard nofile 65536 soft nproc 32000 hard nproc 32000 soft memlock unlimited hard memlock unlimited vim /etc/systemd/system.conf DefaultLimitNOFILE=65536 DefaultLimitNPROC=32000 DefaultLimitMEMLOCK=infinity- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
优化elasticsearch用户拥有的内存权限 由于ES构建基于lucene, 而lucene设计强大之处在于lucene能够很好的利用操作系统内存来缓存索引数据，以提供快速的查询性能。lucene的索引文件segements是存储在单文件中的，并且不可变，对于OS来说，能够很友好地将索引文件保持在cache中，以便快速访问；因此，我们很有必要将一半的物理内存留给lucene ; 另一半的物理内存留给ES（JVM heap )。所以， 在ES内存设置方面，可以遵循以下原则： 1.当机器内存小于64G时，遵循通用的原则，50%给ES，50%留给操作系统，供lucene使用 2.当机器内存大于64G时，遵循原则：建议分配给ES分配 4~32G 的内存即可，其它内存留给操作系统，供lucene使用 vim /etc/sysctl.conf #一个进程可以拥有的最大内存映射区域数，参考数据（分配 2g/262144，4g/4194304，8g/8388608） vm.max_map_count=262144 sysctl -p sysctl -a | grep vm.max_map_count- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
启动elasticsearch是否成功开启 systemctl start elasticsearch.service systemctl status elasticsearch.service- 1
- 2
- 3
查看节点信息 浏览器访问 http://192.168.190.100:9200 、 http://192.168.190.200:9200 查看节点 Node1、Node2 的信息。 浏览器访问 http://192.168.190.100:9200/_cluster/health?pretty 、 http://192.168.190.200:9200/_cluster/health?pretty查看群集的健康情况，可以看到 status 值为 green（绿色）， 表示节点健康运行。 #使用上述方式查看群集的状态对用户并不友好，可以通过安装 Elasticsearch-head 插件，可以更方便地管理群集。- 1
- 2
- 3
- 4
- 5
- 6
安装 Elasticsearch-head 插件 Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装。 安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。 node：是一个基于 Chrome V8 引擎的 JavaScript 运行环境。 phantomjs：是一个基于 webkit 的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于 webkit 浏览器做的事情，它都可以做到。 编译安装 node #上传软件包 node-v8.2.1.tar.gz 到/opt yum install gcc gcc-c++ make -y cd /opt tar zxvf node-v8.2.1.tar.gz cd node-v8.2.1/ ./configure make && make install- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
安装 phantomjs #上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到 cd /opt tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 cd /opt/phantomjs-2.1.1-linux-x86_64/bin cp phantomjs /usr/local/bin- 1
- 2
- 3
- 4
- 5
- 6
安装 Elasticsearch-head 数据可视化工具 #上传软件包 elasticsearch-head-master.zip 到/opt cd /opt unzip elasticsearch-head-master.zip cd /opt/elasticsearch-head/ npm install //安装依赖包- 1
- 2
- 3
- 4
- 5
- 6
修改 Elasticsearch 主配置文件 vim /etc/elasticsearch/elasticsearch.yml ...... --末尾添加以下内容-- http.cors.enabled: true #开启跨域访问支持，默认为 false http.cors.allow-origin: "*" #指定跨域访问允许的域名地址为所有 systemctl restart elasticsearch- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
启动 elasticsearch-head 服务 #必须在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败。 cd /usr/local/src/elasticsearch-head/ npm run start &- 1
- 2
- 3
- 4
通过 Elasticsearch-head 查看 Elasticsearch 信息 通过浏览器访问 http://192.168.190.100:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色，代表群集很健康。- 1
- 2
插入索引 #通过命令插入一个测试索引，索引为 index-demo，类型为 test。 curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}' //输出结果如下： { "_index" : "index-demo", "_type" : "test", "_id" : "1", "_version" : 1, "result" : "created", "_shards" : { "total" : 2, "successful" : 2, "failed" : 0 }, "created" : true } 浏览器访问 http://192.168.190.100:9100/ 查看索引信息，可以看见索引默认被分片5个，并且有一个副本。 点击“数据浏览”，会发现在node1上创建的索引为 index-demo，类型为 test 的相关信息。- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
ELK Logstash 部署（在 Apache 节点上操作）
更改主机名 hostnamectl set-hostname apache 关闭防火墙 systemctl stop firewalld setenforce 0- 1
- 2
- 3
- 4
- 5
- 6
安装Apahce服务（httpd） yum -y install httpd systemctl start httpd- 1
- 2
- 3
安装logstash #上传软件包 logstash-6.7.2.rpm 到/opt目录下 cd /opt rpm -ivh logstash-6.7.2.rpm systemctl start logstash.service systemctl enable logstash.service ln -s /usr/share/logstash/bin/logstash /usr/local/bin/- 1
- 2
- 3
- 4
- 5
- 6
- 7
使用 Logstash 将信息写入 Elasticsearch 中 logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.190.100:9200"] } }'- 1
- 2
cd /etc/logstash/conf.d/ vim system.conf input { file{ path =>"/var/log/messages" type =>"system" start_position =>"beginning" } } output { elasticsearch { hosts => ["192.168.190.100:9200","192.168.190.200:9200"] index =>"system-%{+YYYY.MM.dd}" } }- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
chmod +r /var/log/messages #让 Logstash 可以读取日志- 1
logstash -f system.conf 浏览器访问 http://192.168.190.100:9100/ 查看索引信息- 1
- 2
- 3
ELK Kiabana 部署（在 Node1 节点上操作）
安装 Kiabana #上传软件包 kibana-6.7.2-x86_64.rpm 到/opt目录 cd /opt rpm -ivh kibana-6.7.2-x86_64.rpm- 1
- 2
- 3
- 4
设置 Kibana 的主配置文件 vim /etc/kibana/kibana.yml --2--取消注释，Kiabana 服务的默认监听端口为5601 server.port: 5601 --7--取消注释，设置 Kiabana 的监听地址，0.0.0.0代表所有地址 server.host: "0.0.0.0" --28--取消注释，配置es服务器的ip，如果是集群则配置该集群中master节点的ip elasticsearch.url: ["http://192.168.80.10:9200","http://192.168.80.11:9200"] --37--取消注释，设置在 elasticsearch 中添加.kibana索引 kibana.index: ".kibana" --96--取消注释，配置kibana的日志文件路径（需手动创建），不然默认是messages里记录日志 logging.dest: /var/log/kibana.log- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
创建日志文件，启动 Kibana 服务 touch /var/log/kibana.log chown kibana:kibana /var/log/kibana.log systemctl start kibana.service systemctl status kibana.service netstat -natp | grep 5601- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示 vim /etc/logstash/conf.d/apache_log.conf input { file{ path => "/etc/httpd/logs/access_log" type => "access" start_position => "beginning" } file{ path => "/etc/httpd/logs/error_log" type => "error" start_position => "beginning" } } output { if [type] == "access" { elasticsearch { hosts => ["192.168.190.100:9200","192.168.190.200:9200"] index => "apache_access-%{+YYYY.MM.dd}" } } if [type] == "error" { elasticsearch { hosts => ["192.168.190.100:9200","192.168.190.200:9200"] index => "apache_error-%{+YYYY.MM.dd}" } } }- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
cd /etc/logstash/conf.d/ logstash -f apache_log.conf 浏览器访问 http://192.168.190.100:9100 查看索引是否创建- 1
- 2
- 3
- 4
Filebeat+ELK 部署
在 Node1 节点上操作 1．安装 Filebeat #上传软件包 filebeat-6.7.2-linux-x86_64.tar.gz 到/opt目录 tar zxvf filebeat-6.7.2-linux-x86_64.tar.gz mv filebeat-6.7.2-linux-x86_64/ /usr/local/filebeat- 1
- 2
- 3
- 4
- 5
设置 filebeat 的主配置文件 cd /usr/local/filebeat vim filebeat.yml filebeat.inputs: type: log #指定 log 类型，从日志文件中读取消息 enabled: true paths: /var/log/messages #指定监控的日志文件 /var/log/*.log tags: ["sys"] #设置索引标签 fields: #可以使用 fields 配置选项设置一些参数字段添加到 output 中 service_name: filebeat log_type: syslog from: 192.168.80.13- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
-
相关阅读:
基于JavaSwing开发房产管理系统(access数据库) 课程设计 大作业
【洛谷题解/NOI2001】P2704/NOI2001炮兵阵地
Flink 窗口
MySQL面试题
RL 暂态电路与磁能
FedAvg算法+LSTM模型+ Shakespeare数据集——字符预测任务
day60
Eureka 服务端搭建入门与集群搭建
oak深度相机入门教程-Gen2 相机
SQL语言(一)数据查询
- 原文地址：https://blog.csdn.net/m0_62231324/article/details/133885968
