【运维心得】如何进行应用日志分析？

目录

为什么要进行分析?

什么是时序数据库？

分析结果这么用可以吗？

部分代码(python)

---

为什么要进行分析?

时间如梭，转眼炎热的8月份就过去了，全国4亿人都体会到了汗蒸和煎炸，这几天的凉爽，才使得我能够静下心来写一点儿东西。

如标题所示，不知道别人是怎么使用应用日志进行分析的。我们目前对于日志的分析，也主要是用来查错的，如果没有应用报错，基本上也不会去查这些应用日志。但上次看到一篇介绍时序数据库的文章，个人认为，其实应用日志也属于时序数据库的一种。

那么对于应用日志的分析，就有实际的意义了。

比如：在一个地点连续几天平均气温。在过去的几十年里，平均气温一直被用于建筑节能的主要参考因素。在任意一周里，同一地点每天的平均气温可能只是略有不同，但在同一时间内，影响环境的因素可能发生了巨大变化。相反，了解一天中每个小时的温度变化，加上这段时间的降水量、云量和风速，可以极大地提高物业建模和优化能源效率的能力。

再比如：如果我给你10元钱，银行传统的数据库会在我的账户上有一笔支出，在你的账户上有一笔收。然后，如果你给我10元钱，同样的过程反过来进行。最后，我们的银行余额看起来还是一样的，对于银行而言，这个月没什么变化。但是，有了时序数据库后，银行会感知到，这两个人一直互转10元钱，可能有更深层次的原因。

什么是时序数据库？

时序数据库（Time Series Database）并不是一个新兴的概念。追溯其历史，1999 年问世的 RRDtool 应该是最早的专用时序数据库了。在著名的数据库排行网站 DB-engines 上面，时序数据库的逐步流行起始于 2015 年，而在过去的两年，时序数据库成为流行度最高的数据库。

为了便于理解，一般都是找共同点，下面就是时序数据库的一些共同点：

1. 写入的数据几乎是新数据

2. 数据通常按时间顺序写入

3. 时间是一个主轴（时间间隔可以是规则的，也可以是不规则的）

当然，时序数据库作为数据库的一个重要分支，绝不是这几句话可以讲清楚的，有兴趣可以去查找相关的资料学习，这里就不搬砖了。

分析结果这么用可以吗？

平时更喜欢结合实际情况做一些实验，这次实验的素材就是生产上的nginx日志，虽然并不能算严格的时序数据库，但还是希望通过这些日志的分析，找到一些规律，或者发现一些未知的问题。标题用了疑问句，其实也是自己在探索。

话不多说，先上几张图，这是连续5天的日志分析后的词云图：

是不是看上去都差不多？中间的分析过程，由于涉及到隐私，就不在这里详述，只说一个纯技术的结论：

1 这些重复的词，基本7×24，包括周末也是类似的，都是拦截一些链接产生的，说明是程序在刷后台的应用接口。但是这些链接并不能带来什么有效的流量，反正是资源的一种浪费，所以建议除了拦截并记录之外，可以考虑进行一定的人类识别功能，屏蔽一些无效的请求。

2 当然，第1点是很难做到，第二种方案就是把这些流量能转换成有效流量， 变堵塞为疏导。

3 减少这些无效日志的产生，可以将日志大小缩小至少一半，对后期分析和存储都有好处，毕竟在全球缺电的大环境下，这也是低碳的一种方式。

部分代码(python)

贴一些python代码，也是学习了别人很多的代码，算是抛砖引玉吧。

from wordcloud import WordCloud
import matplotlib.pyplot as plt
import jieba
import jieba.analyse
import os
 
#生成词云
def create_word_cloud(filename):
    text = open(filename,"r",encoding='UTF-8').read()
    allow_pos = ('n','nr','ns','v','a')
    wordlist = jieba.analyse.extract_tags(text,topK=30000, withWeight=False, allowPOS=allow_pos)  # jieba分词
    wl = " ".join(wordlist)
    return wl
 
def show_word_cloud(wordlist):
    # 设置词云
    wc = WordCloud(
        # 设置背景颜色
       background_color="white",
         # 设置最大显示的词云数
       max_words=2000,
         # 这种字体都在电脑字体中，一般路径
       font_path='C:\Windows\Fonts\simfang.ttf',
       height= 1200,
       width= 1600,
        # 设置字体最大值
       max_font_size=100,
     # 设置有多少种随机生成状态，即有多少种配色方案
       random_state=30,
    )
 
    myword = wc.generate(wordlist)  # 生成词云
    # 展示词云图
    plt.imshow(myword)
    plt.axis("off")
    plt.show()
    wc.to_file('××××××.png')  # 把词云保存下
 
if __name__ == '__main__':
    # 设置文件遍历目录，一般当天日志会有很多文件，可以循环遍历
    rootpath="X:\\目录"
 
    for dirpath, dirnames, filenames in os.walk(rootpath):
        for filename in filenames:
            singleFile=os.path.join(dirpath, filename)
            print(singleFile)
            wl=create_word_cloud(singleFile)
    show_word_cloud(wl)