• 对大文件压缩包分割和恢复的方法_python

    1.前言

            某次需要将大的压缩包分割传输，并恢复。找到了一段有用的python程序。

            这个软件包可以压缩和分割大文件。它从一个根目录开始，遍历子目录，并扫描其中的每个文件。如果某个文件的大小超过了阈值大小，那么它们会被压缩和分割成多个归档文件，每个归档文件的最大大小为分区大小。压缩/分割适用于任何文件扩展名。

    举例：

    对于目录

    1. $ tree --du -h ~/MyFolder
    2.  
    3. └── [415M]  My Datasets
    4. │   ├── [6.3K]  Readme.txt
    5. │   └── [415M]  Data on Leaf-Tailed Gecko
    6. │       ├── [ 35M]  DatasetA.zip
    7. │       ├── [ 90M]  DatasetB.zip
    8. │       ├── [130M]  DatasetC.zip
    9. │       └── [160M]  Books
    10. │           ├── [ 15M]  RegularBook.pdf
    11. │           └── [145M]  BookWithPictures.pdf
    12. └── [818M]  Video Conference Meetings
    13.     ├── [817M]  Discussion_on_Fermi_Paradox.mp4
    14.     └── [1.1M]  Notes_on_Discussion.pdf

    使用

    $ python3 src/main.py  --root_dir ~/MyFolder

    目录变成

    1. $ tree --du -h ~/MyFolder
    2.  
    3. └── [371M]  My Datasets
    4. │   ├── [6.3K]  Readme.txt
    5. │   └── [371M]  Data on Leaf-Tailed Gecko
    6. │       ├── [ 35M]  DatasetA.zip
    7. │       ├── [ 90M]  DatasetB.zip
    8. │       ├── [ 95M]  DatasetC.zip.7z.001
    9. │       ├── [ 18M]  DatasetC.zip.7z.002
    10. │       └── [133M]  Books
    11. │           ├── [ 15M]  RegularBook.pdf
    12. │           ├── [ 95M]  BookWithPictures.pdf.7z.001
    13. │           └── [ 23M]  BookWithPictures.pdf.7z.002
    14. └── [794M]  Video Conference Meetings
    15.     ├── [ 95M]  Discussion_on_Fermi_Paradox.mp4.7z.001
    16.     ├── [ 95M]  Discussion_on_Fermi_Paradox.mp4.7z.002
    17.     ├── [ 95M]  Discussion_on_Fermi_Paradox.mp4.7z.003
    18.     ├── [ 95M]  Discussion_on_Fermi_Paradox.mp4.7z.004
    19.     ├── [ 95M]  Discussion_on_Fermi_Paradox.mp4.7z.005
    20.     ├── [ 95M]  Discussion_on_Fermi_Paradox.mp4.7z.006
    21.     ├── [ 95M]  Discussion_on_Fermi_Paradox.mp4.7z.007
    22.     ├── [ 95M]  Discussion_on_Fermi_Paradox.mp4.7z.008
    23.     ├── [ 33M]  Discussion_on_Fermi_Paradox.mp4.7z.009
    24.     └── [1.1M]  Notes_on_Discussion.pdf

    使用

    $ python3 src/reverse.py  --root_dir ~/MyFolder

    则恢复到原始文件。

    2.环境准备

    2.1 python3

            本地已经安装 Python 3.x.x.

    2.2 7z库文件下载安装

            虽然在src/main.py中遍历目录是串行的，但是通过7z压缩/分割每个文件在默认情况下是并行的。
            使用src/reverse.py进行反转完全是串行的。

    3.分割

    用于分割大文件的代码main.py如下：

    1. import sys  # 导入sys模块，用于退出程序
    2. import os  # 导入os模块，用于文件和目录操作
    3. import shutil  # 导入shutil模块，用于文件操作
    4. import subprocess  # 导入subprocess模块，用于执行shell命令
    5. import argparse  # 导入argparse模块，用于解析命令行参数
    6.  
    7.  
    8. def parse_arguments():
    9.     # 解析命令行参数
    10.     parser = argparse.ArgumentParser(description='GitHub-ForceLargeFiles')
    11.  
    12.     parser.add_argument('--root_dir', type=str, default=os.getcwd(),
    13.                         help="Root directory to start traversing. Defaults to current working directory.")
    14.     parser.add_argument('--delete_original', type=bool, default=True,
    15.                         help="Do you want to delete the original (large) file after compressing to archives?")
    16.     parser.add_argument('--partition_ext', type=str, default="7z", choices=["7z", "xz", "bzip2", "gzip", "tar", "zip", "wim"],
    17.                         help="Extension of the partitions. Recommended: 7z due to compression ratio and inter-OS compatibility.")
    18.     parser.add_argument('--cmds_into_7z', type=str, default="a",
    19.                         help="Commands to pass in to 7z.")
    20.     parser.add_argument('--threshold_size', type=int, default=100,
    21.                         help="Max threshold of the original file size to split into archive. I.e. files with sizes below this arg are ignored.")
    22.     parser.add_argument('--threshold_size_unit', type=str, default='m', choices=['b', 'k', 'm', 'g'],
    23.                         help="Unit of the threshold size specified (bytes, kilobytes, megabytes, gigabytes).")
    24.     parser.add_argument('--partition_size', type=int, default=95,
    25.                         help="Max size of an individual archive. May result in actual partition size to be higher than this value due to disk formatting. In that case, reduce this arg value.")
    26.     parser.add_argument('--partition_size_unit', type=str, default='m', choices=['b', 'k', 'm', 'g'],
    27.                         help="Unit of the partition size specified (bytes, kilobytes, megabytes, gigabytes).")
    28.  
    29.     args = parser.parse_args()
    30.     return args
    31.  
    32.  
    33. def check_7z_install():
    34.     # 检查是否安装了7z，如果没有安装则退出程序
    35.     if shutil.which("7z"):
    36.         return True
    37.     else:
    38.         sys.exit("ABORTED. You do not have 7z properly installed at this time. Make sure it is added to PATH.")
    39.  
    40.  
    41. def is_over_threshold(f_full_dir, args):
    42.     # 判断文件是否超过阈值大小
    43.     size_dict = {
    44.         "b": 1e-0,
    45.         "k": 1e-3,
    46.         "m": 1e-6,
    47.         "g": 1e-9
    48.     }
    49.     return os.stat(f_full_dir).st_size * size_dict[args.threshold_size_unit] >= args.threshold_size
    50.  
    51.  
    52. def traverse_root_dir(args):
    53.     # 遍历指定目录下的文件，并进行压缩
    54.     for root, _, files in os.walk(args.root_dir):
    55.         for f in files:
    56.             f_full_dir = os.path.join(root, f)
    57.  
    58.             if is_over_threshold(f_full_dir, args):
    59.                 f_full_dir_noext, ext = os.path.splitext(f_full_dir)
    60.                 # 使用7z命令进行压缩
    61.                 prc = subprocess.run(["7z", "-v" + str(args.partition_size) + args.partition_size_unit, args.cmds_into_7z,
    62.                                       f_full_dir_noext + "." + ext[1:] + "." + args.partition_ext, f_full_dir])
    63.  
    64.                 if args.delete_original and prc.returncode == 0:
    65.                     os.remove(f_full_dir)
    66.  
    67.  
    68. if __name__ == '__main__':
    69.     check_7z_install()  # 检查是否安装了7z
    70.     traverse_root_dir(parse_arguments())  # 压缩文件
    71.

    这段代码会从root_dir开始遍历所有子目录，并将所有超过100MB的文件压缩为最大大小约为95MB的较小存档文件。默认选项是在压缩后删除原始（大）文件，但可以关闭此选项。

    执行记录

    1. D:\tmp\git_di>python main.py  --root_dir "D:\tmp\git_di"
    2.  
    3. 7-Zip 23.01 (x64) : Copyright (c) 1999-2023 Igor Pavlov : 2023-06-20
    4.  
    5. Scanning the drive:
    6. 1 file, 3329165073 bytes (3175 MiB)
    7.  
    8. Creating archive: D:\tmp\git_di\testfile.zip.7z
    9.  
    10. Add new data to archive: 1 file, 3329165073 bytes (3175 MiB)
    11.  
    12.  
    13. Files read from disk: 1
    14. Archive size: 3304152719 bytes (3152 MiB)
    15. Volumes: 34
    16. Everything is Ok

    可以当前目录下生成了多个压缩包分块（testfile.zip.7z.001, testfile.zip.7z.002 ......）

    4.恢复

    用于恢复大文件的代码reverse.py 如下：

    1. import sys  # 导入sys模块，用于退出程序
    2. import os  # 导入os模块，用于文件和目录操作
    3. import shutil  # 导入shutil模块，用于文件操作
    4. import subprocess  # 导入subprocess模块，用于执行shell命令
    5. import argparse  # 导入argparse模块，用于解析命令行参数
    6.  
    7.  
    8. def parse_arguments():
    9.     # 解析命令行参数
    10.     parser = argparse.ArgumentParser(description='GitHub-ForceLargeFiles_reverse')
    11.  
    12.     parser.add_argument('--root_dir', type=str, default=os.getcwd(),
    13.                         help="Root directory to start traversing. Defaults to current working directory.")
    14.     parser.add_argument('--delete_partitions', type=bool, default=True,
    15.                         help="Do you want to delete the partition archives after extracting the original files?")
    16.  
    17.     args = parser.parse_args()
    18.     return args
    19.  
    20.  
    21. def check_7z_install():
    22.     # 检查是否安装了7z，如果没有安装则退出程序
    23.     if shutil.which("7z"):
    24.         return True
    25.     else:
    26.         sys.exit("ABORTED. You do not have 7z properly installed at this time. Make sure it is added to PATH.")
    27.  
    28.  
    29. def is_partition(f_full_dir):
    30.     # 判断文件是否是分卷文件
    31.     return any(f_full_dir.endswith(ext) for ext in
    32.                [".7z.001", ".xz.001", ".bzip2.001", ".gzip.001", ".tar.001", ".zip.001", ".wim.001"])
    33.  
    34.  
    35. def reverse_root_dir(args):
    36.     # 遍历指定目录下的文件，并进行解压
    37.     for root, _, files in os.walk(args.root_dir):
    38.         for f in files:
    39.             f_full_dir = os.path.join(root, f)
    40.             if is_partition(f_full_dir):
    41.                 # 使用7z解压文件
    42.                 prc = subprocess.run(["7z", "e", f_full_dir, "-o" + root])
    43.                 if args.delete_partitions and prc.returncode == 0:
    44.                     f_noext, _ = os.path.splitext(f)
    45.                     os.chdir(root)
    46.                     os.system("rm" + " \"" + f_noext + "\"*")
    47.  
    48.  
    49. if __name__ == '__main__':
    50.     check_7z_install()  # 检查是否安装了7z
    51.     reverse_root_dir(parse_arguments())  # 解压分卷文件
    52.

    测试

    将压缩包分块（testfile.zip.7z.001, testfile.zip.7z.002 ......）放置与目录 D:\tmp\git_di 下，reverse.py 也放在同级目录下。

    执行记录

    1. D:\tmp\git_di>python reverse.py --root_dir "D:\tmp\git_di"
    2.  
    3. 7-Zip 23.01 (x64) : Copyright (c) 1999-2023 Igor Pavlov : 2023-06-20
    4.  
    5. Scanning the drive for archives:
    6. 1 file, 99614720 bytes (95 MiB)
    7.  
    8. Extracting archive: D:\tmp\git_di\testfile.zip.7z.001
    9. --
    10. Path = D:\tmp\git_di\testfile.zip.7z.001
    11. Type = Split
    12. Physical Size = 99614720
    13. Volumes = 34
    14. Total Physical Size = 3304152719
    15. ----
    16. Path = testfile.zip.7z
    17. Size = 3304152719
    18. --
    19. Path = testfile.zip.7z
    20. Type = 7z
    21. Physical Size = 3304152719
    22. Headers Size = 162
    23. Method = LZMA2:24
    24. Solid = -
    25. Blocks = 1
    26.  
    27. Everything is Ok
    28.  
    29. Size:       3329165073
    30. Compressed: 3304152719
    31. 'rm' 不是内部或外部命令，也不是可运行的程序
    32. 或批处理文件。

    可以看到新生成了文件 testfile.zip。

    5.最后

    参考github链接

    https://github.com/sisl/GitHub-ForceLargeFiles

    over.

  • 相关阅读:
    mybatis-plus 统一管理创建时间、更新时间、创建人与更新人
    Spring依赖注入之@autowire注解详解
    python调用接口脚本
    Python魔法方法
    探索 Redis 与 MySQL 的双写问题
    SpringAMQP
    Unity UI制作
    利用C++开发一个迷你的英文单词录入和测试小程序-升级版本
    啤酒和烧烤
    docker安装rabbitmq和redis详解
  • 原文地址：https://blog.csdn.net/qq_33163046/article/details/132918242