• 使用 AWS boto3 库从 s3 桶中批量下载数据



    官方文档

    一、Boto3 快速安装

    安装 Boto3 之前,先安装 Python 3.8 或更高版本;对 Python 3.6 及更早版本的支持已弃用。

    通过 pip 安装最新的 Boto3 版本:

    pip install boto3
    
    • 1

    使用 AWS Common Runtime (CRT)
    除了默认安装 Boto3 之外,还可以选择包含新的 CRT。AWS CRT 是模块化包的集合,充当 AWS 开发工具包的新基础。每个库都为其实现的功能区域提供更好的性能和最小的占用空间。使用 CRT,开发工具包可以在可能的情况下共享相同的基本代码,从而提高 AWS 开发工具包之间的一致性和吞吐量优化。

    但是,Boto3 默认情况下不使用 AWS CRT,但可以通过在安装 Boto3 时指定 crt 额外功能来选择使用它:

    pip install boto3[crt]
    
    • 1

    要恢复到 Boto3 的非 CRT 版本,使用以下命令:

    pip uninstall awscrt
    
    • 1

    如果需要重新启用 CRT,重新安装 boto3[crt] 以确保获得兼容版本 awscrt

    二、账户配置

    1. 在代码中配置账户信息:
    s3 = boto3.resource('s3', aws_access_key_id="", aws_secret_access_key="")
    # s3 = boto3.client('s3', aws_access_key_id="", aws_secret_access_key="")
    
    • 1
    • 2
    1. 在电脑配置文件中配置账户信息(提前安装 AWS CLI):
      • 可以使用 aws configure 命令来修改配置文件;
      • 可以直接修改配置文件,默认情况下,配置文件的位置为 ~/.aws/credentials。配置文件至少应该指定 aws_access_key_idaws_secret_access_key

    三、代码示例

    3.1 下载单个文件

    import boto3
    
    # 配置S3连接
    s3 = boto3.resource('s3')
    bucket_name = 'your-bucket-name'
    
    # 定义要下载的文件名
    file_key = 'your-file-path-in-s3'
    
    # 下载文件
    s3.Bucket(bucket_name).download_file(file_key, 'local-file-path')
    
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12

    3.2 下载文件夹内全部文件

    def download_folder(bucket_name, folder, local_dir=None):
        """
            Download an object from an S3 bucket
        """
        count = 0
        bucket = s3.Bucket(bucket_name)
    
        for obj in bucket.objects.filter(Prefix=folder):
            target = obj.key #if local_dir is None else os.path.join(local_dir, os.path.relpath(obj.key, folder))
            if not os.path.exists(os.path.dirname(os.path.dirname(target))):
                os.makedirs(os.path.dirname(os.path.dirname(target)))
            # 额外下载文件夹中文件夹内的 object
            #if obj.key[-1] == '/':
            #    continue
            target_path = os.path.join(os.path.dirname(os.path.dirname(target)), target.split('/')[-1])
            bucket.download_file(obj.key, target_path)
            count += 1
    
        print("cont: ", count)
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
  • 相关阅读:
    FAST-LIO公式推导
    学习笔记——单调队列与单调栈
    09 【标准库之Math对象和String对象】
    How Language Model Hallucinations Can Snowball
    Jupyternotebook修改默认目录无效No such notebook dir
    暂存软工作业
    如果Controller里有私有的方法,能成功访问吗?
    工作中使用过与stream流相关的API操作
    MySQL中的锁机制详解
    【(数据结构) —— 顺序表的应用-通讯录的实现】
  • 原文地址:https://blog.csdn.net/m0_47665468/article/details/134516759