21.10 Python 使用CRC32校验文件

CRC文件校验是一种用于验证文件完整性的方法，通过计算文件的CRC值并与预先计算的CRC校验值进行比较，来判断文件是否发生变化，此类功能可以用于验证一个目录中是否有文件发生变化，如果发生变化则我们可以将变化打印输出，该功能可用于实现对特定目录的验证。

首先实现文件与目录的遍历功能，递归输出文件或目录，在Python中有两种实现方式，我们可以通过自带的os.walk函数实现，也可以使用os.listdir实现，这里笔者依次封装两个函数，函数ordinary_all_file使用第一种方式，函数recursion_all_file使用第二种，这两种方式都返回_file列表，读者可使用列表接收输出数据集。

import os,hashlib,time,datetime
from zlib import crc32
import argparse

# 递归版遍历所有文件和目录
def recursion_all_file(rootdir):
    _file = []
    root = os.listdir(rootdir)
    for item in range(0,len(root)):
           path = os.path.join(rootdir,root[item])
           if os.path.isdir(path):
              _file.extend(recursion_all_file(path))
           if os.path.isfile(path):
              _file.append(path)

    for item in range(0,len(_file)):
        _file[item] = _file[item].replace("\\","/")
    return _file

# 通过自带OS库中的函数实现的目录遍历
def ordinary_all_file(rootdir):
    _file = []
    for root, dirs, files in os.walk(rootdir, topdown=False):
        for name in files:
            _file.append(os.path.join(root, name))
        for name in dirs:
            _file.append(os.path.join(root, name))
            
        for item in range(0,len(_file)):
            _file[item] = _file[item].replace("\\","/")
    return _file
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

针对计算方法此处也提供两种，第一种Calculation_md5sum使用hashlib模块内的md5()方法计算特定文件的MD5特征，第二种Calculation_crc32则使用zlib库中的crc32方法计算特定文件的CRC32值，如下所示。

# 通过hashlib模块读取文件并计算MD5值
def Calculation_md5sum(filename):
    try:
        fp = open(filename, 'rb')
        md5 = hashlib.md5()
        while True:
            temp = fp.read(8096)
            if not temp:
                break
            md5.update(temp)
        fp.close()
        return (md5.hexdigest())
    except Exception:
        return 0

# 计算目标CRC32
def Calculation_crc32(filename):
    try:
        with open(filename,"rb") as fp:
            crc = crc32(fp.read())
            while True:
                temp = fp.read(8196)
                if not temp:
                    break
            return crc
    except Exception:
        return 0
    return 0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

在主函数中，我们通过argparse解析库传入参数，并分别实现三个功能，其中使用dump功能可以保存特定目录内文件的hash值到dump.json文件中，其次check功能可用于根据dump.json中的内容检查文件是否被改动过，最后的set则可用于批量设置文件的时间戳，这三类功能都属于较为常用的。

if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument("--mode",dest="mode",help="指定需要使用的方法名称,(set/dump/check)")
    parser.add_argument("-d","--dir",dest="dir",help="指定一个需要遍历的文件目录(非文件)")
    parser.add_argument("-f","--files",dest="files",help="指定一个本地快照文件,或转储的文件名称")
    parser.add_argument("-t","--time",dest="time",help="指定需要统一修改的文件时间")
    args = parser.parse_args()

    # 保存快照: main.py --mode=dump -d "D:/lyshark" -f dump.json
    if args.mode == "dump" and args.dir and args.files:
        file = recursion_all_file(args.dir)
        fp = open(args.files,"w+")
        for item in file:
            Single = []
            Single.append(Calculation_crc32(item))
            Single.append(item)
            fp.write(str(Single) + "\n")
            print("[+] CRC: {} ---> 路径: {}".format(Single[0],Single[1]))
        fp.close()

    # 检查文件完整性: main.py --mode=check -d "D:/lyshark" -f dump.json
    elif args.mode == "check" and args.dir and args.files:
        fp = open(args.files,"r")
        for item in fp.readlines():
            _list = eval(item)

            # 取出json文件里的目录进行MD5计算
            _md5 = Calculation_crc32(_list[1])
            # 如果该文件的md5与数据库中的记录不一致,说明被修改了
            if _list[0] != _md5 and _md5 != 0:
                print("[-] 异常文件: {}".format(_list[1]))
            elif _md5 == 0:
                print("[x] 文件丢失: {}".format(_list[1]))

    # 设置文件修改时间: main.py --mode=set -d "D:/lyshark" -t "2019-01-01 11:22:30"
    elif args.mode == "set" and args.dir and args.time:
        _list = ordinary_all_file(args.dir)
        _time = int(time.mktime(time.strptime(args.time,"%Y-%m-%d %H:%M:%S")))
        for item in _list:
            os.utime(item,(_time, _time))
            print("[+] 时间戳: {} ---> 路径: {}".format(str(_time),item))
    else:
        parser.print_help()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43

指定mode模式为dump用于实现将特定文件计算CRC特征，并将该特征保存至dump.json文件内，如下图所示；

指定mode模式为check并指定转存之前的dump.json文件，则可用于验证当前目录下是否存在异常文件，如果文件特征值发生了变化则会提示异常文件，而如果文件被删除或被重命名则会输出文件丢失，如下图所示；

指定mode模式为set则可实现对特定目录内特定文件修改时间参数，例如将d://lyshark目录内的文件全部重置时间戳为2019-01-01 11:22:30则可执行如下命令，执行后读者可自行观察文件时间变化，如下图所示；

文件与目录遍历功能，不仅可以用于对文件的特征扫描，还可以与fopen等函数实现对特定文件内特定内容的扫描，如下是一段实现对文件内特定目录的关键字扫描，运行后读者通过传入需要扫描的路径，扫描的关键字，以及需要扫描文件类型即可。

import os,re
import argparse

def spider(script_path,script_type):
    final_files = []
    for root, dirs, files in os.walk(script_path, topdown=False):
            for fi in files:
                dfile = os.path.join(root, fi)
                if dfile.endswith(script_type):
                    final_files.append(dfile.replace("\\","/"))
    print("[+] 共找到了 {} 个 {} 文件".format(len(final_files),script_type))
    return final_files

def scanner(files_list,func):
    for item in files_list:
        fp = open(item, "r",encoding="utf-8")
        data = fp.readlines()
        for line in data:
            Code_line = data.index(line) + 1
            Now_code = line.strip("\n")
            #for unsafe in ["system", "insert", "include", "eval","select \*"]:
            for unsafe in [func]:
                flag = re.findall(unsafe, Now_code)
                if len(flag) != 0:
                    print("函数: {} ---> 函数所在行: {} ---> 路径: {} " .\
                          format(flag,Code_line,item))

if __name__ == "__main__":
    # 使用方式: main.py -p "D://lyshark" -w eval -t .php
    parser = argparse.ArgumentParser()
    parser.add_argument("-p","--path",dest="path",help="设置扫描路径")
    parser.add_argument("-w","--word",dest="func",help="设置检索的关键字")
    parser.add_argument("-t","--type",dest="type",default=".php",help="设置扫描文件类型,默认php")
    args = parser.parse_args()
    if args.path and args.func:
        ret = spider(args.path, args.type)
        scanner(ret, args.func)
    else:
        parser.print_help()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

如下图所示，我们通过传入d://lyshark以及关键字gumbo_normalized_tagname并设置扫描后缀类型*.c当程序运行后，即可输出该目录下所有符合条件的文件，并输出函数所在行，这有利于我们快速跳转并分析数据。