python通用日志使用

、
环境： python 3.10.x

背景

最近在进行数据处理方面的事。 对爬虫，数据处理任务加日志， 便于知晓任务是否正确执行以及发生的错误。

日志模块

spider_log.py

import logging
from logging.handlers import TimedRotatingFileHandler
import os
cwd =  os.path.dirname(os.path.abspath(__file__))
log_path = os.path.join(cwd, "logs")
if not os.path.exists(log_path):
    os.mkdir(log_path)

logger = logging.getLogger()
logger.setLevel(logging.INFO)
ch = logging.StreamHandler()
#fh = logging.handlers.RotatingFileHandler(log_path, encoding='utf-8', mode="a", maxBytes =30*1024*1024, backupCount =10)
fh = TimedRotatingFileHandler(filename= os.path.join(log_path, "spider.log"), when='midnight', backupCount=30)
fh.suffix = "%Y-%m-%d.log"
fh.encoding = "utf-8"

formatter = logging.Formatter(
    "%(asctime)s - %(module)s - %(funcName)s - line:%(lineno)d - %(levelname)s - %(message)s"
)

ch.setFormatter(formatter)
fh.setFormatter(formatter)
logger.addHandler(ch) #将日志输出至屏幕
logger.addHandler(fh) #将日志输出至文件
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

此处， 设置日志按照时间滚动保存， 每天一个日志文件。最多保留30天日志文件。

日志使用

1、import 日志模块
2、添加日志记录

test.py

from  spider_log import logger
import logging
import json

logger.log(msg=json.dumps({"Task":"product-spider","url":"https://example.com"}), level=logging.INFO)
logger.log(msg="Exception:  timeout 10s" , level=logging.ERROR)
1
2
3
4
5
6

说明：
有关日志的更多使用方法， 请查阅 python logging 的使用文档。此处只是个人笔记记录。