python对文件转md5，用于文件重复过滤

直接上代码

import hashlib

def calculate_md5(file_path):
    # 创建 MD5 哈希对象
    md5_hash = hashlib.md5()

    # 打开文件并逐块读取，更新哈希值
    with open(file_path, 'rb') as file:
        while True:
            data = file.read(8192)  # 逐块读取文件，每块大小为 8192 字节
            if not data:
                break
            md5_hash.update(data)

    # 获取最终的 MD5 哈希值（以十六进制表示）
    md5_hex = md5_hash.hexdigest()

    return md5_hex

# 用法示例
file_path = 'your_file.txt'  # 替换成你的文件路径
md5_value = calculate_md5(file_path)
print("MD5 哈希值:", md5_value)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

上面的示例中，我们定义了一个 calculate_md5 函数，它接受文件路径作为参数。函数内部创建了一个 MD5 哈希对象，然后打开文件并逐块读取文件内容，将每个块的数据更新到哈希对象中。最后，通过 hexdigest() 方法获取最终的 MD5 哈希值。

确保将 file_path 替换为你要计算哈希值的文件路径。这段代码可以用于计算任何文件的 MD5 哈希值。