Python的logging用法（日志记录工具）

一、logging日志框架

为啥引入logging模块：

• Pythonic八荣八耻之一：以打印日志为荣 , 以单步跟踪为耻（print输出的信息都到了标准输出）。很多项目代码中都需要记录日志（如程序正常访问日志、错误、警告等信息输出等），使用Python中的logging模块就能存储各种格式的日志（如运行日志、输出日志的等级、日志保存路径、日志文件回滚等）。
• logging优势：重要性别级可选（如debug、info、warning、error 以及 critical），通过赋予logger或handler不同的级别，就能值输出错误信息到特定的记录文件中，或在调试时只记录调试信息。

logging日志框架的四个部分：

• Loggers: 可供程序直接调用的接口，app通过调用提供的api来记录日志
• Handlers: 决定将日志记录分配至正确的目的地
• Filters:对日志信息进行过滤， 提供更细粒度的日志是否输出的判断
• Formatters: 制定最终记录打印的格式布局

logging日志处理流程：

1.1 loggers

loggers 就是程序可以直接调用的一个日志接口，可以直接向logger写入日志信息。logger并不是直接实例化使用的，而是通过logging.getLogger(name)来获取对象，事实上logger对象是单例模式，logging是多线程安全的，也就是无论程序中哪里需要打日志获取到的logger对象都是同一个。但logger并不支持多进程。

【注意】loggers对象是有父子关系的，当没有父logger对象时它的父对象是root，当拥有父对象时父子关系会被修正。举个例子，logging.getLogger("abc.xyz") 会创建两个logger对象，一个是abc父对象，一个是xyz子对象，同时abc没有父对象，所以它的父对象是root。但是实际上abc是一个占位对象（虚的日志对象），可以没有handler来处理日志。但是root不是占位对象，如果某一个日志对象打日志时，它的父对象会同时收到日志，所以有些使用者发现创建了一个logger对象时会打两遍日志，就是因为他创建的logger打了一遍日志，同时root对象也打了一遍日志。

1.2 Handlers

Handlers 将logger发过来的信息进行准确地分配，送往正确的地方。example：送往控制台或者文件或者both或者其他地方(进程管道之类的)。它决定了每个日志的行为，是之后需要配置的重点区域。

每个Handler同样有一个日志级别，一个logger可以拥有多个handler也就是说logger可以根据不同的日志级别将日志传递给不同的handler。当然也可以相同的级别传递给多个handlers这就根据需求来灵活的设置了。

1.3 Filters

Filters 提供了更细粒度的判断，来决定日志是否需要打印。原则上handler获得一个日志就必定会根据级别被统一处理，但是如果handler拥有一个Filter可以对日志进行额外的处理和判断。例如Filter能够对来自特定源的日志进行拦截or修改甚至修改其日志级别（修改后再进行级别判断）。

logger和handler都可以安装filter甚至可以安装多个filter串联起来。

1.4 Formatters

Formatters 指定了最终某条记录打印的格式布局。Formatter会将传递来的信息拼接成一条具体的字符串，默认情况下Format只会将信息%(message)s直接打印出来。Format中有一些自带的LogRecord属性可以使用。

二、事件等级

日志中各级别适用性如下（严重性递增），默认级别是WARNING，即会追踪该级别以上的所有事件

【栗子1】如下INFO信息没有出现，默认级别是WARNING，会忽略DEBUG和INFO级别消息。但是注意如果level设置为INFO也是会输出DEBUG的信息，因为它被涉及为一次性的配置，只有第一次调用会进行该操作（随后的调用，不能产生有效操作）。

import logging
logging.info('info')
logging.warning('warning')
'''
命令行中的输入结果：
WARNING:root:warning
'''
1
2
3
4
5
6
7

【栗子2】记录日志到txt文件中
设置的阈值是DEBUG，所以所有等级的信息都会被打印。对basicConfig()的调用应该在debug()、info()等之前

import logging
log_filename = '/home/andy/torch_rechub_n/examples/logging.txt'
# 设置的阈值是DEBUG，所以所有等级的信息都会被打印
logging.basicConfig(filename=log_filename, level=logging.DEBUG)
logging.debug('debug')
logging.info('info')
logging.warning('warning')
logging.error('error')
1
2
3
4
5
6
7
8

【栗子3】连续运行的消息可以追加到之前的txt文件中，如果不需要追加（想重新开始记录）则可以修改filemode参数。

logging.basicConfig(filename=log_filename, filemode='w', level=logging.DEBUG)
logging.info('***************')
logging.debug('debug')
logging.info('info')
logging.info('***************')
logging.debug('debug')
logging.info('info')
logging.debug('debug')
logging.info('***************')
1
2
3
4
5
6
7
8
9

三、多模块使用logging配置

3.1 通过继承关系实现

首先定义了loggermainModule，并对它进行了配置，就可以在解释器进程里面的其他地方通过getLogger('mainModule')得到的对象都是一样的，不需要重新配置，可以直接使用。定义的该logger的子logger，都可以共享父logger的定义和配置，所谓的父子logger是通过命名来识别，任意以mainModule开头的logger都是它的子logger，例如mainModule.sub。

实际开发一个application，首先可以通过logging配置文件编写好这个application所对应的配置，可以生成一个根logger，如PythonAPP，然后在主函数中通过fileConfig加载logging配置，接着在application的其他地方、不同的模块中，可以使用根logger的子logger，如PythonAPP.Core，PythonAPP.Web来进行log，而不需要反复的定义和配置各个模块的logger。

import logging

logger = logging.getLogger('mainModule')
logger.setLevel(level=logging.INFO)

formatter = logging.Formatter(
    '%(asctime)s - %(name)s - %(levelname)s - %(message)s')

handler = logging.FileHandler('log.txt')
handler.setLevel(logging.INFO)
handler.setFormatter(formatter)

console = logging.StreamHandler()
console.setLevel(logging.INFO)
console.setFormatter(formatter)

logger.addHandler(handler)
logger.addHandler(console)

# 在其他模块导入该日志接口module_logger即可
module_logger = logging.getLogger('mainModule.sub')
module_logger.info('this is another module using logging')
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

3.2 通过YAML文件配置

version: 1
disable_existing_loggers: False
formatters:
        simple:
            format: "%(asctime)s - %(name)s - %(levelname)s - %(message)s"
handlers:
    console:
            class: logging.StreamHandler
            level: DEBUG
            formatter: simple
            stream: ext://sys.stdout
    info_file_handler:
            class: logging.handlers.RotatingFileHandler
            level: INFO
            formatter: simple
            filename: info.log
            maxBytes: 10485760
            backupCount: 20
            encoding: utf8
    error_file_handler:
            class: logging.handlers.RotatingFileHandler
            level: ERROR
            formatter: simple
            filename: errors.log
            maxBytes: 10485760
            backupCount: 20
            encoding: utf8
loggers:
    my_module:
            level: ERROR
            handlers: [info_file_handler]
            propagate: no
root:
    level: INFO
    handlers: [console,info_file_handler,error_file_handler]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

通过YAML加载配置文件，通过logging.dictConfig配置logging。如下，就可以在运行程序的时候调用setup_logging来启动日志记录了。它默认会读取logging.json或logging.yaml文件。

import yaml
import logging.config
import os

def setup_logging(default_path = "logging.yaml",default_level = logging.INFO,env_key = "LOG_CFG"):
    path = default_path
    value = os.getenv(env_key,None)
    if value:
        path = value
    if os.path.exists(path):
        with open(path,"r") as f:
            config = yaml.load(f)
            logging.config.dictConfig(config)
    else:
        logging.basicConfig(level = default_level)

def func():
    logging.info("start func")

    logging.info("exec func")

    logging.info("end func")

if __name__ == "__main__":
    setup_logging(default_path = "logging.yaml")
    func()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

四、yaml配置文件怎么写

承接第三点的yaml配置文件，了解yaml配置文件：YAML是"YAML Ain’t a Markup Language"（YAML不是一种标记语言）的递归缩写。yaml使用空白符号缩进和大量依赖外观的特色，适合用来表达or编辑数据结构、配置文件、倾印调试内容、文件大纲等。

4.1 yaml的基本语法

基本语法：

• 大小写敏感
• 使用缩进表示层级关系
• 缩进不允许使用tab，只允许空格
• 缩进的空格数不重要，只要相同层级的元素左对齐即可
• '#'表示注释

数据类型：

• 对象：键值对的集合，又称为映射（mapping）/ 哈希（hashes） / 字典（dictionary）
• 数组：一组按次序排列的值，又称为序列（sequence） / 列表（list）
• 纯量（scalars）：单个的、不可再分的值

4.2 PyYAML快速上手

首先在config.yaml配置文件中定义可配置信息：

# train parameters setting
optimization: Adam
learning_rate: 0.001
batch_size: 64
epoch: 200
1
2
3
4
5

然后PyYAML模块会解析config.yaml配置文件（三部曲）：

• 使用open()打开config.yaml配置文件，然后使用read()读取
• 使用yaml.load(stream, Loader)加载读取的配置文件数据，生成一个y的对象
• 使用字典的形式访问生成的y对象中的配置信息

import yaml

yaml_path = "./config.yaml"

def read_yaml(yaml_path):
    # 使用open()函数读取config.yaml文件
    yaml_file = open(yaml_path, "r", encoding="utf-8")
    # 读取文件中的内容
    file_data = yaml_file.read()
    print(f"file_date type: {type(file_data)}\nfile_date value:\n{file_data}")
    yaml_file.close()

    # 加载数据流，返回字典类型数据
    y = yaml.load(file_data, Loader=yaml.FullLoader)
    print(f"y data type: {type(y)}\ny data value: {y}")

    # 下面就可以使用字典访问配置文件中的数据了
    print(f"optimization: {y['optimization']}")
    print(f"learning_rate: {y['learning_rate']}")
    print(f"batch_size: {y['batch_size']}")
    print(f"epoch: {y['epoch']}")

    optimization = y['optimization']
    learning_rate = y['learning_rate']
    batch_size = y['batch_size']
    epoch = y['epoch']

    print(type(optimization))
    print(type(learning_rate))
    return optimization, learning_rate, batch_size, epoch

if __name__ == '__main__':
    read_yaml(yaml_path)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

Reference

[1] Python官方文档关于logging的介绍：https://docs.python.org/zh-cn/3/library/logging.html?highlight=logging#module-logging
[2] 以打印日志为荣之logging模块详细使用
[3] python logging 日志模块详解
[4] yaml配置文件菜鸟教程
[5] 深度学习项目中在yaml文件中定义配置，以及使用的python的PyYAML库包读取解析yaml配置文件