如何使用Python查找和移动重复文件

        在日常的文件管理中，我们经常会遇到一个问题：如何快速找到重复的文件并进行处理？Python提供了一些强大的工具和库来解决这个问题。本文将介绍如何使用Python编写程序来查找和移动重复文件。

1. 准备工作

        在开始编写程序之前，我们需要先安装一些必要的库：

• os：用于操作文件和文件夹路径
• shutil：用于移动文件
• -filecmp：用于比较文件内容是否相同
• tqdm：用于显示进度条

        可以使用以下命令来安装这些库：

pip install tqdm

2. 编写代码

        首先，我们需要定义一个函数来获取指定文件夹中的所有文件路径。我们可以使用`os.walk`函数来递归地遍历文件夹，并将所有文件的路径存储在一个列表中。```python

import os
 
def get_all_files(folder):
    all_files = []
    for root, dirs, files in os.walk(folder):
        for file in files:
            file_path = os.path.join(root, file)
            all_files.append(file_path)
 
    return all_files

        接下来，我们需要编写一个主函数来查找重复文件并将其移动到一个新的文件夹。首先，我们需要获取两个文件夹中的所有文件路径。然后，我们可以使用嵌套循环来比较每个文件是否相同。如果两个文件的内容相同，我们将其中一个文件移动到一个新的文件夹中。

```python
import shutil
import filecmp
from tqdm import tqdm
 
def find_duplicate_files(folder1, folder2):
    # 获取文件夹中的所有文件
    files1 = get_all_files(folder1)
    files2 = get_all_files(folder2)
 
    # 创建存储重复文件的文件夹
    duplicate_folder = os.path.join(os.getcwd(), 'duplicate_files')
    os.makedirs(duplicate_folder, exist_ok=True)
 
    # 查找重复文件并移动
    for file1 in tqdm(files1):
        for file2 in files2:
            if filecmp.cmp(file1, file2):
                duplicate_file_name = os.path.basename(file2)
                new_path = os.path.join(duplicate_folder, duplicate_file_name)
                shutil.move(file2, new_path)
                files2.remove(file2)
                break

3. 使用示例

        现在我们可以使用上述函数来查找和移动重复文件了。只需指定两个文件夹的路径，并调用`find_duplicate_files`函数即可。

if __name__ == '__main__':
    folder1 = r'/path/to/folder1'
    folder2 = r'/path/to/folder2'
    find_duplicate_files(folder1, folder2)

        请注意，这里的`folder1`和`folder2`应该是两个待比较的文件夹的路径。程序将遍历这两个文件夹，并在找到重复文件时将其中一个移动到一个名为`duplicate_files`的新文件夹中。

4. 完整程序

        完整示例程序如下所示。

# -*- coding: utf-8 -*-
"""
python重复文件查找，并将重复文件移动到新的文件夹。
更多python处理程序、人工智能算法总结请关注博客：https://blog.csdn.net/suiyingy。
"""
import os
import shutil
import filecmp
from tqdm import tqdm
 
 
def find_duplicate_files(folder1, folder2):
    # 获取文件夹中的所有文件
    files1 = get_all_files(folder1)
    files2 = get_all_files(folder2)
 
    # 创建存储重复文件的文件夹
    duplicate_folder = os.path.join(os.getcwd(), 'duplicate_files')
    os.makedirs(duplicate_folder, exist_ok=True)
 
    # 查找重复文件并移动
    for file1 in tqdm(files1):
        for file2 in files2:
            if filecmp.cmp(file1, file2):
                duplicate_file_name = os.path.basename(file2)
                new_path = os.path.join(duplicate_folder, duplicate_file_name)
                # shutil.move(file1, new_path)
                shutil.move(file2, new_path)
                files2.remove(file2)
                break
 
def get_all_files(folder):
    all_files = []
    for root, dirs, files in os.walk(folder):
        for file in files:
            file_path = os.path.join(root, file)
            all_files.append(file_path)
 
    return all_files
 
if __name__ == '__main__':
    # 用法示例
    folder1 = r'/path/to/folder1'
    folder2 = r'/path/to/folder2'
    find_duplicate_files(folder1, folder2)

5. 总结

        本文介绍了如何使用Python编写程序来查找和移动重复文件。我们首先通过递归遍历两个文件夹获取所有文件的路径，然后使用`filecmp.cmp`函数来比较文件内容是否相同，并使用`shutil.move`函数将重复文件移动到一个新的文件夹中。最后，我们提供了一个使用示例来展示如何调用这些函数。

        希望本文能够帮助你解决重复文件管理的问题，如果你对更多关于Python处理程序和人工智能算法的内容感兴趣，可以关注我的博客：[https://blog.csdn.net/suiyingy](https://blog.csdn.net/suiyingy)。