微服务系列之分布式日志 ELK

1.ELK简介

　　ELK是ElasticSearch+LogStash+Kibana的缩写，是现代微服务架构流行的分布式日志解决方案，旨在大规模服务的日志集中管理查看，极大的为微服务开发人员提供了排查生产环境的便利。如果规模较小的日志量，直接使用ElasticSearch、Logstash、Kibana是可以满足其应用的，但是对于日志量较大的中大规模服务集群来说，这3个中间会引入Filebeat、Kafka、Zookpeer三个中间来大幅度提升采集性能、可靠性、可扩展性。目前来说，大部分公司使用的解决方案架构如下图：

此篇文章，我们一起来熟悉整个流程的搭建，为了方便演示，环境基于docker（正常情况下，因为这套系统是直接linux部署的，因为开销实在是很大）。

2.API服务

　　先建一个api服务，使用过滤器，让请求前后都会产生日志

　　

我这里，将日志写到根目录下logs文件夹，以MyDockerApi *.log产生日志文件，接下来，发布，并上传到linux服务器，并用docker启动，不会的同学传送门:https://www.cnblogs.com/saltlight-wangchao/p/16646005.html。

由于docker的隔离性，想要采集日志，必须给服务docker挂载到linux宿主机的盘内，上图就是我为该API服务创建的日志写入目录，因为可能一个宿主机上可能有多个API服务，所以，可以按照规则，继续新建服务文件夹，用于存放不同API服务的日志，我这里就弄了一个先。

docker run --name API8082 -p 8081:5000
 -v /etc/localtime:/etc/localtime  --解决 docker 容器时间与本地时间不一致
 -v /home/fileBeate/logs/mydockerapi1:/app/logs  --挂载目录，降容器的app/logs目录挂载到宿主机，我们要指定该服务采集的目录
 my1api 

启动后，请求该服务

至此，api服务所产生的日志，已经写到我们要采集的指定目录里。

3.Filebeat

　　Filebeat是用于监视、采集、转发指定位置的文件轻量级开源工具，使用golang编写，就采集来说，其性能和资源利用率远好于基于jvm的logstash。

　　在这里，filebeat做为kafka的生产者

　　1）拉取filebeat镜像

docker pull docker.elastic.co/beats/filebeat:6.4.2

　　2）创建filebeat.yml配置文件，进行vim修改

　　基础的配置

---
filebeat.inputs:
  - type：log
    enabled: true
    fields:
      log_topics: mydockerapi1  --命名以服务名字，注意，因为一台宿主机可能有多个服务，而我们采集也要分开，再来一组-type
    paths:
      - /usr/share/filebeat/mydockerapi1-logs/*.log   --这里是docker内的路径，千万别写错了。如果是
    
output.kafka:
  hosts:
    - "10.0.8.17:9092"   --kafka的地址
  topic: "elk-%{[fields][log_topics]}"  --消息队列的topic

　　3)运行

docker run --restart=always  --name filebeat -d 
-v /home/filebeat.yml:/usr/share/filebeat/filebeat.yml 
-v /home/fileBeate/logs/mydockerapi1/:/usr/share/filebeat/mydockerapi1-logs   
docker.elastic.co/beats/filebeat:6.4.2

进入filebeat容器内部如下图，可以看到已经采集到日志文件

使用 docker logs -f filebeat 命令，查看filebeat日志

上图可见，采集完日志后，像kafka发送了

4.Zookeeper/Kafka

　　kafka是结合zookeeper一起使用的，kafka通过zookeeper管理集群配置，选举leader，以及在consumer group发生变化时进行rebalance。producer使用push模式将消息发布到broker，consumer使用pull模式从broker订阅并消费消息,这里不过多描述，感兴趣的可以去详细查看。

　　1)拉取zookeeper镜像并运行

　　

docker pull zookeeper:latest
docker run -d --name zookeeper -p 2181:2181 -t zookeeper:latest

　　

　　2)拉取kafka镜像并运行

　　

docker pull wurstmeister/kafka:latest
docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0
-e KAFKA_ZOOKEEPER_CONNECT=10.0.8.17:2181
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.0.8.17:9092
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka:latest

　　3）查看filebeat是否采集完日志，是否之前配置的topic写进来，直接执行下面命令

　　

docker exec -it kafka bash
cd /opt/kafka/bin
kafka-topics.sh --zookeeper 10.0.8.17:2181 --list

可见，我们采集的日志已经写进来了。接下来，使用exit命令退出容器。

 5.Logstash

　　Logstash是一个接收、过滤、输出的组件，三块形成一个管道，其实这个的功能性很强大，配置起来也很繁琐，我们这里主要是收集各个API服务的日志用，所以就做基础配置即可

 　　1)拉取镜像

　　

docker pull docker.elastic.co/logstash/logstash:6.4.3

　　2)创建配置文件并配置

input{
  kafka{  数据源来自kafka，此时logstash做为消费者
    bootstrap_servers => "10.0.8.17:9092"  kafka地址
    topics_pattern  => "elk-.*"   消费的主题匹配elk-开头的
    consumer_threads => 5      -消费线程数
    decorate_events => true     
    codec => "json" 
    auto_offset_reset => "latest"
  }
}

output {
   elasticsearch {   输出到es
         hosts => ["10.0.8.17:9200"]   es地址
         index =>  "ts-mydockerapi1"   es的索引
   }
}

上述是简单的配置，生产中在输出output块中，，要根据topic来输出到不同的索引配置如下:

output {

  if [@metadata][kafka][topic] == "elk-mydockerapi1" {
        elasticsearch {
          hosts => "http://10.0.8.17:9200"
          index => "ts-mydockerapi1"
          timeout => 300
        }
    }   这里可以多个if判断，输出到不同的索引中

  stdout {}
}

　　3）运行

docker run --name logstash -d -e xpack.monitoring.enabled=false -v /home/logstash:/config-dir docker.elastic.co/logstash/logstash:6.4.3 -f /config-dir/logstash.conf

至此logstash启动成功，日志显示正常。至于繁琐的过滤配置，主做运维的同学，可以深研究下，后端同学了解下就行了。我这期间，老是遇到内存溢出的情况，可以改一下，logstash的配置文件，进入docker容器，位置在config/jvm.options,可以修改下内存使用。

6.ElasticSearch

　　简称es,elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。官方概念，我们本篇文章不做深入研究，只就ELK分布式日志应用来说。

　　1)拉取镜像

　　

docker pull docker.elastic.co/elasticsearch/elasticsearch:6.4.2

　　2）运行es

docker run --name myes --restart=always  -p 9200:9200 -p 9300:9300 -d -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:6.4.2

　　3)查看logstash输入到es的数据

浏览器运行http://你的IP:9200/_search?pretty

日志数据已经进来了，接下来最后一步，展示日志。

7.Kibana

　　kibana是一个开源的分析与可视化平台，设计出来用于和elasticsearch一起使用的。你可以用kibana搜索、查看、交互存放在elasticsearch索引里的数据，使用各种不同的图表、表格、地图等kibana能够很轻易地展示高级数据分析与可视化.

　　1)拉取镜像

docker pull docker.elastic.co/kibana/kibana:6.4.3

　　2)运行

docker run -d --name kibana -p 5601:5601 -e ELASTICSEARCH_URL=http://10.0.8.17:9200 docker.elastic.co/kibana/kibana:6.4.3

　　3配置展示

　　运行起来后，打开你的ip:5601，刚进来会让你创建索引，步骤如下图

　

　　

 

 

选择next step按钮，创建完毕，如下图

由于我这个linux服务器太弱了，ELK完全运行起来太卡了，就不继续做了，可以再建个API服务，模拟多个服务日志，通过ELK采集，在kibana里，根据logstash输入进es的索引，来展示对应服务的日志，如下图：

 

这里就可以选择对应API服务的索引日志了。。。

最后做为后端研发来说，一个有规模的做微服务的团队，ELK的搭建不是直接购买云产品，就是由运维来搭建，但是小规模团队，还是需要后端同学来搞的，总之，后端研发人员可以不实践，但是最好要了解一下整体流程。OK本文到此结束。