• 如何将 huggingface上的模型文件下载到本地


    写在前面

    缘由:国内的GPU服务器直接调取 huggingface 上模型经常会失败,因此下载到本地就能免去许多麻烦。

    方法三基于知乎上一位博主所提出方法的基础上进行改进,可以将huggingface上模型由 Colab 存进 谷歌云盘 或者 百度云盘。特别是有些国内炼丹平台支持百度网盘,所以你甚至可以直接将百度网盘内的文件直接上传到炼丹平台,更省事了。

    记得点赞收藏,下次还能找到!

    写在中间

    法一、直接下载

    如果不嫌麻烦的话,可以直接下载单个文件或者目录里面的文件。

    在此之前,在本地仿照仓库新建对应层级的文件夹,将每个文件放进对应目录即可。

    在这里插入图片描述

    法二:git 克隆仓库

    这一种方法最为简单。

    首先打开代理软件。

    接着在电脑上安装好git,然后在你想下载的位置新建一个文件夹,进入文件夹之后,点击右键

    在这里插入图片描述

    然后设置代理,一行一行的复制粘贴,由于clash默认端口7890

    # 设置全局代理
    git config --global https.proxy http://127.0.0.1:7890
    git config --global https.proxy https://127.0.0.1:7890
    git config --global http.proxy socks5://127.0.0.1:7890
    git config --global https.proxy socks5://127.0.0.1:7890
    
    # 取消全局代理
    git config --global --unset http.proxy
    git config --global --unset https.proxy
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9

    之后进入huggingface找到你要下载的模型,点击图中位置即可获取克隆链接。复制到git,静待即可。

    在这里插入图片描述

    法三:借用 Colab 充当下载器

    本方法基于知乎博主文章修改,由于使用原代码下载时,有时会出现错误,故将其修改并完善。关于使用方法,我已在下面的链接中将使用方法尽可能详细的说明,进入即可查看

    使用链接

    得益于colab 高达 200~300MB/s 的极高网速,可以十分轻松的拉取huggingface 上的代码模型文件。

    经过实验,我已经帮大家踩过坑了,不要直接在 colab 中使用命令将文件夹压缩。由于没有优化,测试下来 8个G大小的模型文件经过压缩为5G,花费 20 分钟。而且由于文件过大,还不能直接下载下来。

    因此可以将拉取过后的文件夹整个保存到云盘,就能发挥云盘下载文件的优势了。

    具体方法:如果保存到谷歌云盘,进入谷歌云盘,找到刚刚保存的模型文件夹,点击下载,云盘就会将其压缩下载了。

    在这里插入图片描述

    在这里插入图片描述

    可以看见一个最大的bin模型文件被单独下载且不需要解压,其余文件被分成两部分,注意解压文件时,将其解压到同一个文件夹内。经过整理同样可以完整下载

    在这里插入图片描述

    当然也可以根据提示保存到百度网盘里面,速度也是相当可观的。

    在这里插入图片描述

    对接炼丹平台

    来讲讲法三最牛的用法,前提是你有百度网盘会员,如果要使用云 GPU 来进行训练上传模型到国内的炼丹平台,由于我只用过 autodl 这家(其他家的如果可以欢迎在评论区补充)是支持公网网盘导入和导出的。教程在这里,所以可以将上一步存到网盘里的文件直接导入进autodl。

    写在最后

    总结一下
    在这里插入图片描述

    👍🏻点赞,你的认可是我创作的动力!
    ⭐收藏,你的青睐是我努力的方向!
    ✏️评论,你的意见是我进步的财富!

  • 相关阅读:
    计算机专业大学生应该在大学四年踏实学哪些东西?
    【云原生 • Docker】mysql、tomcat、nginx、redis 环境部署
    Pycharm连接远程服务器 导入远程包时本地显示红色解决方法
    浅谈ES标准的演变
    华为计算开源总经理堵俊平:AI领域开源新趋势与思考
    文件系统的简单操作
    弘辽科技:淘宝流量不稳定该如何应对
    Greenplum数据库数据分片策略Hash分布——执行器行为
    C++基础学习笔记-类与对象
    动态规划算法学习一:DP的重要知识点、矩阵连乘算法
  • 原文地址:https://blog.csdn.net/m0_73222051/article/details/134021492