Linux基础——ELK Stack

一、环境部署

环境需求

虚拟机最好为4G内存，这样会运行快些

[root@localhost ~]# hostname -I

192.168.200.142

[root@localhost ~]# cat /etc/redhat-release

CentOS Linux release 7.4.1708 (Core)

//查看系统版本

[root@localhost ~]# uname -r

3.10.0-693.el7.x86_64

//查看内核线程集

[root@localhost ~]# systemctl stop firewalld

关闭防火墙

[root@localhost ~]# systemctl disable firewalld

//关闭防火墙开机自启

[root@localhost ~]# setenforce 0

setenforce: SELinux is disabled

//关闭selinux

安装jdk环境

[root@localhost ~]# ls

anaconda-ks.cfg  jdk-8u60-linux-x64.tar.gz

//上传jdk压缩包

[root@localhost ~]# tar xf jdk-8u60-linux-x64.tar.gz -C /usr/local

//解压安装包

[root@localhost ~]# mv /usr/local/jdk1.8.0_60/ /usr/local/jdk

//优化解压目录名称

配置java环境变量

[root@localhost ~]# vim /etc/profile

//进入环境变量

[root@localhost ~]# tail -3 /etc/profile

export JAVA_HOME=/usr/local/jdk/

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH

//添加以上内容

[root@localhost ~]# source /etc/profile

//应用环境变量

[root@localhost ~]# java -version

java version "1.8.0_60"

Java(TM) SE Runtime Environment (build 1.8.0_60-b27)

Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mode)

//查看java版本

二、kibana的安装和启动

编译部署kibana

[root@localhost ~]# ls

anaconda-ks.cfg            kibana-6.2.3-linux-x86_64.tar.gz

jdk-8u60-linux-x64.tar.gz  redis-4.0.11.tar.gz

//上传kibana压缩包

[root@localhost ~]# useradd -s /sbin/nologin -M elk

//创建程序用户

[root@localhost ~]# tar xf kibana-6.2.3-linux-x86_64.tar.gz -C /usr/local

//解压kibana数据包

[root@localhost ~]# mv /usr/local/kibana-6.2.3-linux-x86_64/ /usr/local/kibana

//优化安装目录

修改配置文件

[root@localhost ~]# vim /usr/local/kibana/config/kibana.yml

//进入kibana配置文件

更改目录属主属组

[root@localhost ~]# chown -R elk:elk /usr/local/kibana/

//修改kibana目录属主和驻足为elk

新增启动脚本

[root@localhost ~]# vim /usr/local/kibana/bin/start.sh

//编写启动脚本

nohup /usr/local/kibana/bin/kibana >> /tmp/kibana.log 2>> /tmp/kibana.log &

[root@localhost ~]# chmod a+x /usr/local/kibana/bin/start.sh

//赋予脚本执行权限和其他权限

普通用户启动kibana

[root@localhost ~]# su -s /bin/bash elk '/usr/local/kibana/bin/start.sh'

//启动kibana

[root@localhost ~]# ps -ef | grep elk | grep -v grep

//查看进程启动情况

查看错误日志

[root@localhost ~]# cat /tmp/kibana.log | grep warning | head -5

//查看错误日志

这里有个警告，意思是连不上elasticsearch，忽略，因为未安装。

三、使用nginx限制访问kibana

使用nginx转发

[root@localhost ~]# vim /usr/local/kibana/config/kibana.yml

//修改配置文件

[root@localhost ~]# ps -ef | grep elk

//查看elk启动进程

[root@localhost ~]# kill -9 11047

//通过进程ID杀死进程

[root@localhost ~]#  su -s /bin/bash elk '/usr/local/kibana/bin/start.sh'

//启动服务

借助nginx来访问，控制源IP的访问

[root@localhost ~]# yum -y install pcre-devel openssl-devel

//安装依赖包

[root@localhost ~]# tar xf nginx-1.10.2.tar.gz -C /usr/src

//解压数据包

[root@localhost ~]# cd /usr/src/nginx-1.10.2/

//进入安装目录

[root@localhost nginx-1.10.2]# useradd -s /sbin/nologin -M nginx

//创建程序用户

[root@localhost nginx-1.10.2]# ./configure --user=nginx --group=nginx --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module && make && make install

//编译安装

[root@localhost nginx-1.10.2]# ln -s /usr/local/nginx/sbin/* /usr/local/sbin/

//优化命令路径

编辑nginx配置文件

[root@localhost ~]# cd /usr/local/nginx/

//进入安装目录

[root@localhost nginx]# cp conf/nginx.conf{,.bak}

//备份配置文件

[root@localhost nginx]# egrep -v "#|^$" conf/nginx.conf.bak > conf/nginx.conf

//优化配置文件

[root@localhost nginx]# vim conf/nginx.conf

//进入配置文件进行修改

worker_processes  1;

events {

    worker_connections  1024;

}

http {

    include       mime.types;

    default_type  application/octet-stream;

    log_format main '$remote_addr - $remote_user [$time_local] "$request"'

                    '$status $body_bytes_sent "$http_referer"'

                    '"$http_user_agent""$http_x_forwarded_for"';

    sendfile        on;

    keepalive_timeout  65;

    server {

        listen       5609;

    access_log /usr/local/nginx/logs/kibana_access.log main;

    error_log /usr/local/nginx/logs/kibana_error.log error;

        location / {

        allow 192.168.200.1;

        deny all;

        proxy_pass http://127.0.0.1:5601;

        }

    }

}

[root@localhost nginx]# /usr/local/nginx/sbin/nginx -t

//检查配置文件是否有误

nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok

nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful

[root@localhost nginx]# /usr/local/nginx/sbin/nginx

//启动nginx

[root@localhost nginx]# netstat -antup | grep nginx

tcp        0      0 0.0.0.0:5609            0.0.0.0:*               LISTEN      16305/nginx: master

//查看启动进程

访问监听端口号

四、elasticsearch的安装和启动

解压

[root@localhost ~]# ls

anaconda-ks.cfg             kibana-6.2.3-linux-x86_64.tar.gz

elasticsearch-6.2.3.tar.gz  nginx-1.10.2.tar.gz

jdk-8u60-linux-x64.tar.gz   redis-4.0.11.tar.gz

//上传压缩包

[root@localhost ~]# tar xf elasticsearch-6.2.3.tar.gz -C /usr/local

//解压数据包

[root@localhost ~]# mv /usr/local/elasticsearch-6.2.3/ /usr/local/elasticsearch

//优化安装目录

配置

[root@localhost ~]# vim /usr/local/elasticsearch/config/elasticsearch.yml

//进入elasticsearch.yml配置文件进行修改

[root@localhost ~]# mkdir -p /usr/local/elasticsearch/data

[root@localhost ~]# mkdir -p /usr/local/elasticsearch/logs

//创建数据和日志存储目录

更改

[root@localhost ~]# chown -R elk:elk /usr/local/elasticsearch/

//更改elasticsearch目录的属主属组

更改jvm内存配置

[root@localhost ~]# vim /usr/local/elasticsearch/config/jvm.options

//编辑elasticsearch的内存配置文件

编写启动脚本

[root@localhost ~]# vim /usr/local/elasticsearch/bin/start.sh

//编写elasticsearch启动脚本，-d后台启动

/usr/local/elasticsearch/bin/elasticsearch -d >> /tmp/elasticsearch.log 2>>

/tmp/elasticsearch.log

[root@localhost ~]# chmod a+x /usr/local/elasticsearch/bin/start.sh

//给脚本添加其他用户权限和执行权限

启动脚本

[root@localhost ~]# su -s /bin/bash elk '/usr/local/elasticsearch/bin/start.sh'

//执行脚本

[root@localhost ~]# ps -ef | grep elk | grep -v grep

//查看脚本执行情况

观察日志

[root@localhost ~]# > /tmp/kibana.log

//先清空日志

[root@localhost ~]# tail -f /tmp/kibana.log

//动态更新日志，查看是否有错

（如果没有显示错误提示，那么一切正常，表示无误）

访问网页

重新测试URL：http://192.168.200.142:5609

五、logstash的安装和启动

解压logstash

[root@localhost ~]# ls

anaconda-ks.cfg                   logstash-6.2.3.tar.gz

elasticsearch-6.2.3.tar.gz        nginx-1.10.2.tar.gz

jdk-8u60-linux-x64.tar.gz         redis-4.0.11.tar.gz

kibana-6.2.3-linux-x86_64.tar.gz

//上传logstash压缩包

[root@localhost ~]# tar xf logstash-6.2.3.tar.gz -C /usr/local

//解压logstash压缩包

[root@localhost ~]# mv /usr/local/logstash-6.2.3/ /usr/local/logstash

//优化安装目录

修改配置文件

[root@localhost ~]# vim /usr/local/logstash/config/jvm.options

//加入内存限制

[root@localhost ~]# vim /usr/local/logstash/config/logstash.conf

//修改配置文件

input {

  file {

    path => "/usr/local/nginx/logs/kibana_access.log"   #读取日志路径

  }

}

output {

  elasticsearch {

    hosts => ["http://127.0.0.1:9200"]      #保存日志url

  }

}

编写启动脚本

[root@localhost ~]# vim /usr/local/logstash/bin/start.sh

//编写启动脚本

nohup /usr/local/logstash/bin/logstash -f

 /usr/local/logstash/config/logstash.conf >> /tmp/logstash.log 2>> /tmp/logstash.log &

[root@localhost ~]# chmod a+x /usr/local/logstash/bin/start.sh

//给脚本添加权限

启动logstash

[root@localhost ~]# /usr/local/logstash/bin/start.sh

//启动脚本

[root@localhost ~]# ps -ef | grep logstash

//查看启动进程

通过浏览器访问

通过URL访问：http://192.168.200.142:5609

六、logstash使用详解

常用命令：

-f：通过这个命令可以指定Logstash的配置文件，根据配置文件配置logstash；

-e：后面跟字符串，该字符串可以被当作logstash的配置（如果是“”则默认使用stdin作为输入，stdout作为输出）

-l：日志输出的地址（默认就是stdout直接在控制台输出）

-t：测试配置文件是否正确，然后退出

工作原理

Logstash使用管道方式进行日志的搜集处理和输出，有些类似于管道命令xxx|ccc|ddd，xxx执行完了会执行ccc，然后执行ddd