• ELK部署

    一，elk

            提供了一个分布式多用户能力的全文搜索分析引擎，能对各种类型的数据进行近实时的索引和查询，支持高可用和水平扩展性。

            作用：

            1.将日志进行集中化管理

            2.将日志格式化_(ogstash)并输出到Elasticsearch

            3.对格式化后的数据进行索引和存储(Elasticsearch)

            4.前端数据的展示(Kibana)

            elk组成：

            1，ElasticSearch：提供了一个分布式多用户能力的全文搜索分析引擎，能对各种类型的数据进行近实时的索引和查询，支持高可用和水平扩展性。

            核心概念：    

            接近实时

            集群

            节点

            索引

            索引(库)→>类型（表)→>文档（记录)分片和副本

            

            2，Logstash

            一款强大的数据处理工具，是一个数据处理管道，它可以从多个来源采集数据，对数据进行过滤，转换和增强，然后将数据发送给Elasticsearch或者其他目的地。

            可实现数据传输、格式处理、格式化输出。

            数据输入、数据加工（如过滤，改写等)以及数据输出LogStash主要组件。

            使用TCP/UDP协议传输。

            组件：

            Shipper  日志收集者

            Indexer  日志存储者

            Broker    日志hub

            Search and Storageo    搜索+存储

            Web Interface  基于web的页面展示

            3，kibana

            一个针对Elasticsearch的开源分析及可视化平台，搜索、查看存储在Elasticsearch索引中的数据，通过各种图表进行高级数据分析及展示。

            主要功能：

            Elasticsearch无缝之集成

            整合数据，复杂数据分析

            让更多团队成员受益

            接口灵活，分享更容易

            配置简单，可视化多数据源

            简单数据导出

            部著ELK日志

            除了这三个必要组件还可以结合filebeat，fluentd等。

    二，为什么要使用elk：

            日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
            往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析，但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用 grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
            一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。

    三：完整日志系统我基本特征

    收集：能够采集多种来源的日志数据
    传输：能够稳定的把日志数据解析过滤并传输到存储系统
    存储：存储日志数据
    分析：支持 UI 分析
    警告：能够提供错误报告，监控机制

    四：elk的工作原理

    （1）在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署 Logstash。
    （2）Logstash 收集日志，将日志格式化并输出到 Elasticsearch 群集中。
    （3）Elasticsearch 对格式化后的数据进行索引和存储。
    （4）Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示。

    五，部署

    node1:192.168.10.13,安装Elasticsearch，Kibana

    node2:192.168.10.14,Elasticsearch

    Apache：192.168.10.15，Logstash，Apache

    node节点需要2核4g内存

    1. systemctl stop firewalld
    2. setenforce 0
    3. ------------------- ELK Elasticsearch 集群部署（在Node1、Node2节点上操作） ----------------------------------
    4. 1．环境准备
    5. #更改主机名、配置域名解析、查看Java环境
    6. Node1节点：hostnamectl set-hostname node1
    7. Node2节点：hostnamectl set-hostname node2
    8.  
    9. vim /etc/hosts
    10. 192.168.10.13 node1 
    11. 192.168.10.14 node2   
    12.  
    13.  
    14. 注：版本问题
    15. java -version										#如果没有安装，yum -y install java
    16. openjdk version "1.8.0_131"
    17. OpenJDK Runtime Environment (build 1.8.0_131-b12)
    18. OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)
    19.  
    20. 建议使用jdk
    21.  
    22. 2．部署 Elasticsearch 软件
    23. （1）安装elasticsearch—rpm包
    24. #上传elasticsearch-5.5.0.rpm到/opt目录下
    25. cd /opt
    26. rpm -ivh elasticsearch-5.5.0.rpm 
    27.  
    28. （2）加载系统服务
    29. systemctl daemon-reload    
    30. systemctl enable elasticsearch.service
    31.  
    32. （3）修改elasticsearch主配置文件
    33. cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
    34. vim /etc/elasticsearch/elasticsearch.yml
    35. --17--取消注释，指定集群名字
    36. cluster.name: my-elk-cluster
    37. --23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
    38. node.name: node1
    39. --33--取消注释，指定数据存放路径
    40. path.data: /data/elk_data
    41. --37--取消注释，指定日志存放路径
    42. path.logs: /var/log/elasticsearch/
    43. --43--取消注释，改为在启动的时候不锁定内存
    44. bootstrap.memory_lock: false
    45. --55--取消注释，设置监听地址，0.0.0.0代表所有地址
    46. network.host: 0.0.0.0
    47. --59--取消注释，ES 服务的默认监听端口为9200
    48. http.port: 9200
    49. --68--取消注释，集群发现通过单播实现，指定要发现的节点 node1、node2
    50. discovery.zen.ping.unicast.hosts: ["node1", "node2"]
    51.  
    52. grep -v "^#" /etc/elasticsearch/elasticsearch.yml
    53.  
    54. （4）创建数据存放路径并授权
    55. mkdir -p /data/elk_data
    56. chown elasticsearch:elasticsearch /data/elk_data/
    57.  
    58. （5）启动elasticsearch是否成功开启
    59. systemctl start elasticsearch.service
    60. netstat -antp | grep 9200
    61.  
    62. （6）查看节点信息
    63. 浏览器访问  http://192.168.10.13:9200  、 http://192.168.10.14:9200 查看节点 Node1、Node2 的信息。
    64.  
    65. 浏览器访问 http://192.168.10.13:9200/_cluster/health?pretty  、 http://192.168.10.14:9200/_cluster/health?pretty查看群集的健康情况，可以看到 status 值为 green（绿色）， 表示节点健康运行。
    66.  
    67. 浏览器访问 http://192.168.10.13:9200/_cluster/state?pretty  检查群集状态信息。
    68.  
    69. #使用上述方式查看群集的状态对用户并不友好，可以通过安装 Elasticsearch-head 插件，可以更方便地管理群集。
    70.  
    71.  
    72. 3．安装 Elasticsearch-head 插件
    73. Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装。
    74. 安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。
    75. node：是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
    76. phantomjs：是一个基于 webkit 的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于 webkit 浏览器做的事情，它都可以做到。
    77.  
    78. （1）编译安装 node
    79. #上传软件包 node-v8.2.1.tar.gz 到/opt
    80. yum install gcc gcc-c++ make -y
    81.  
    82. cd /opt
    83. tar zxvf node-v8.2.1.tar.gz
    84.  
    85. cd node-v8.2.1/
    86. ./configure
    87. make && make install
    88.  
    89. （2）安装 phantomjs（前端的框架）
    90. #上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到
    91. cd /opt
    92. tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
    93. cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
    94. cp phantomjs /usr/local/bin
    95.  
    96. （3）安装 Elasticsearch-head 数据可视化工具
    97. #上传软件包 elasticsearch-head.tar.gz 到/opt
    98. cd /opt
    99. tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
    100. cd /usr/local/src/elasticsearch-head/
    101. npm install
    102.  
    103. （4）修改 Elasticsearch 主配置文件
    104. vim /etc/elasticsearch/elasticsearch.yml
    105. ......
    106. --末尾添加以下内容--
    107. http.cors.enabled: true				#开启跨域访问支持，默认为 false
    108. http.cors.allow-origin: "*"			#指定跨域访问允许的域名地址为所有
    109.  
    110. systemctl restart elasticsearch
    111.  
    112. （5）启动 elasticsearch-head 服务
    113. #必须在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败。
    114. cd /usr/local/src/elasticsearch-head/
    115. npm run start &
    116.  
    117. > elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
    118. > grunt server
    119.  
    120. Running "connect:server" (connect) task
    121. Waiting forever...
    122. Started connect web server on http://localhost:9100
    123.  
    124. #elasticsearch-head 监听的端口是 9100
    125. netstat -natp |grep 9100
    126.  
    127. （6）通过 Elasticsearch-head 查看 Elasticsearch 信息
    128. 通过浏览器访问 http://192.168.10.13:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色，代表群集很健康。
    129.  
    130. （7）插入索引
    131. #通过命令插入一个测试索引，索引为 index-demo，类型为 test。
    132.  
    133. //输出结果如下：curl -X PUT 'localhost:9200/index-demo1/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
    134.  
    135.  
    136.  
    137. {
    138. "_index" : "index-demo",
    139. "_type" : "test",
    140. "_id" : "1",
    141. "_version" : 1,
    142. "result" : "created",
    143. "_shards" : {
    144. "total" : 2,
    145. "successful" : 2,
    146. "failed" : 0
    147. },
    148. "created" : true
    149. }
    150.  
    151. 浏览器访问 http://192.168.10.13:9100/ 查看索引信息，可以看见索引默认被分片5个，并且有一个副本。
    152. 点击“数据浏览”，会发现在node1上创建的索引为 index-demo，类型为 test 的相关信息。
    153.  
    154.  
    155. ---------------------- ELK Logstash 部署（在 Apache 节点上操作） ----------------------------------------
    156. Logstash 一般部署在需要监控其日志的服务器。在本案例中，Logstash 部署在 Apache 服务器上，用于收集 Apache 服务器的日志信息并发送到 Elasticsearch。
    157.  
    158. 1．更改主机名
    159. hostnamectl set-hostname apache
    160.  
    161. 2．安装Apahce服务（httpd）
    162. yum -y install httpd
    163. systemctl start httpd
    164.  
    165. 3．安装Java环境
    166. yum -y install java
    167. java -version
    168.  
    169. 4．安装logstash
    170. #上传软件包 logstash-5.5.1.rpm 到/opt目录下
    171. cd /opt
    172. rpm -ivh logstash-5.5.1.rpm                           
    173. systemctl start logstash.service                      
    174. systemctl enable logstash.service
    175.  
    176. ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
    177.  
    178. 5．测试 Logstash
    179. Logstash 命令常用选项：
    180. -f：通过这个选项可以指定 Logstash 的配置文件，根据配置文件配置 Logstash 的输入和输出流。
    181. -e：从命令行中获取，输入、输出后面跟着字符串，该字符串可以被当作 Logstash 的配置（如果是空，则默认使用 stdin 作为输入，stdout 作为输出）。
    182. -t：测试配置文件是否正确，然后退出。
    183.  
    184. 定义输入和输出流：
    185. #输入采用标准输入，输出采用标准输出（类似管道）
    186. logstash -e 'input { stdin{} } output { stdout{} }'
    187. ......
    188. www.baidu.com										#键入内容（标准输入）
    189. 2020-12-22T03:58:47.799Z node1 www.baidu.com		#输出结果（标准输出）
    190. www.sina.com.cn										#键入内容（标准输入）
    191. 2017-12-22T03:59:02.908Z node1 www.sina.com.cn		#输出结果（标准输出）
    192.  
    193. //执行 ctrl+c 退出
    194.  
    195. #使用 rubydebug 输出详细格式显示，codec 为一种编解码器
    196. logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
    197. ......
    198. www.baidu.com										#键入内容（标准输入）
    199. {
    200.     "@timestamp" => 2020-12-22T02:15:39.136Z,		#输出结果（处理后的结果）
    201.       "@version" => "1",
    202.           "host" => "apache",
    203.        "message" => "www.baidu.com"
    204. }
    205.  
    206. #使用 Logstash 将信息写入 Elasticsearch 中
    207. logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.10.13:9200"] } }'
    208. 			 输入				输出			对接
    209. ......
    210. www.baidu.com										#键入内容（标准输入）
    211. www.sina.com.cn										#键入内容（标准输入）
    212. www.google.com										#键入内容（标准输入）
    213.  
    214. //结果不在标准输出显示，而是发送至 Elasticsearch 中，可浏览器访问 http://192.168.10.13:9100/ 查看索引信息和数据浏览。
    215.  
    216. 6．定义 logstash配置文件
    217. Logstash 配置文件基本由三部分组成：input、output 以及 filter（可选，根据需要选择使用）。
    218. input：表示从数据源采集数据，常见的数据源如Kafka、日志文件等
    219. filter：表示数据处理层，包括对数据进行格式化处理、数据类型转换、数据过滤等，支持正则表达式
    220. output：表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。
    221.  
    222. #格式如下：
    223. input {...}
    224. filter {...}
    225. output {...}
    226.  
    227. #在每个部分中，也可以指定多个访问方式。例如，若要指定两个日志来源文件，则格式如下：
    228. input {
    229. 	file { path =>"/var/log/messages" type =>"syslog"}
    230. 	file { path =>"/var/log/httpd/access.log" type =>"apache"}
    231. }
    232.  
    233. #修改 Logstash 配置文件，让其收集系统日志/var/log/messages，并将其输出到 elasticsearch 中。
    234. chmod +r /var/log/messages					#让 Logstash 可以读取日志
    235.  
    236. vim /etc/logstash/conf.d/system.conf
    237. input {
    238.     file{
    239.         path =>"/var/log/messages"						#指定要收集的日志的位置
    240.         type =>"system"									#自定义日志类型标识
    241.         start_position =>"beginning"					#表示从开始处收集
    242.     }
    243. }
    244. output {
    245.     elasticsearch {										#输出到 elasticsearch
    246.         hosts => ["192.168.10.13:9200"]					#指定 elasticsearch 服务器的地址和端口
    247.         index =>"system-%{+YYYY.MM.dd}"					#指定输出到 elasticsearch 的索引格式
    248.     }
    249. }
    250.  
    251. systemctl restart logstash 
    252.  
    253. 浏览器访问 http://192.168.10.13:9100/ 查看索引信息
    254.  
    255.  
    256. ---------------------- ELK Kiabana 部署（在 Node1 节点上操作） ----------------------------------------
    257. 1．安装 Kiabana
    258. #上传软件包 kibana-5.5.1-x86_64.rpm 到/opt目录
    259. cd /opt
    260. rpm -ivh kibana-5.5.1-x86_64.rpm
    261.  
    262. 2．设置 Kibana 的主配置文件
    263. vim /etc/kibana/kibana.yml
    264. --2--取消注释，Kiabana 服务的默认监听端口为5601
    265. server.port: 5601
    266. --7--取消注释，设置 Kiabana 的监听地址，0.0.0.0代表所有地址
    267. server.host: "0.0.0.0"
    268. --21--取消注释，设置和 Elasticsearch 建立连接的地址和端口
    269. elasticsearch.url: "http://192.168.10.13:9200" 
    270. --30--取消注释，设置在 elasticsearch 中添加.kibana索引
    271. kibana.index: ".kibana"
    272.  
    273. 3．启动 Kibana 服务
    274. systemctl start kibana.service
    275. systemctl enable kibana.service
    276.  
    277. netstat -natp | grep 5601
    278.  
    279. 4．验证 Kibana
    280. 浏览器访问 http://192.168.10.13:5601
    281. 第一次登录需要添加一个 Elasticsearch 索引：
    282. Index name or pattern
    283. //输入：system-*			#在索引名中输入之前配置的 Output 前缀“system”
    284.  
    285. 单击 “create” 按钮创建，单击 “Discover” 按钮可查看图表信息及日志信息。
    286. 数据展示可以分类显示，在“Available Fields”中的“host”，然后单击 “add”按钮，可以看到按照“host”筛选后的结果
    287.  
    288. 5．将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示
    289. vim /etc/logstash/conf.d/apache_log.conf
    290. input {
    291.     file{
    292.         path => "/etc/httpd/logs/access_log"
    293.         type => "access"
    294.         start_position => "beginning"
    295.     }
    296.     file{
    297.         path => "/etc/httpd/logs/error_log"
    298.         type => "error"
    299.         start_position => "beginning"
    300.     }
    301. }
    302. output {
    303.     if [type] == "access" {
    304.         elasticsearch {
    305.             hosts => ["192.168.10.13:9200"]
    306.             index => "apache_access-%{+YYYY.MM.dd}"
    307.         }
    308.     }
    309. 	if [type] == "error" {
    310.         elasticsearch {
    311.             hosts => ["192.168.10.13:9200"]
    312.             index => "apache_error-%{+YYYY.MM.dd}"
    313.         }
    314.     }
    315. }
    316.  
    317. cd /etc/logstash/conf.d/
    318. /usr/share/logstash/bin/logstash -f apache_log.conf
    319.  
    320. 浏览器访问 http://192.168.10.13:9100 查看索引是否创建
    321.  
    322. 浏览器访问 http://192.168.10.13:5601 登录 Kibana，单击“Create Index Pattern”按钮添加索引， 在索引名中输入之前配置的 Output 前缀 apache_access-*，并单击“Create”按钮。在用相同的方法添加 apache_error-*索引。
    323. 选择“Discover”选项卡，在中间下拉列表中选择刚添加的 apache_access-* 、apache_error-* 索引， 可以查看相应的图表及日志信息。

  • 相关阅读:
    MySQL大量脏数据,如何只保留最新的一条？
    企业级智能客服知识库重磅更新，发布`v0.1.5`
    39 WEB漏洞-XXE&XML之利用检测绕过全解
    uniapp 生命周期
    nginx部署多个项目
    java验证码的实现
    MySQL分页查询的工作原理
    vue3 tsx 项目中使用 Antv/G2 实现多线折线图
    RabbitMQ
    力扣刷题 每日两题（一）
  • 原文地址：https://blog.csdn.net/qq_61855329/article/details/132868595