解决Huggingface被墙下载模型的问题

参考：

如何快速下载huggingface模型——全方法总结 - padeoe的文章 - 知乎

https://zhuanlan.zhihu.com/p/663712983

和：

https://hf-mirror.com/docs/huggingface_hub/guides/download#download-from-the-cli

最近几月huggingface彻底无法访问，之前下载模型都是开梯子自己下载到本地再上传到服务器，这样实在比较麻烦，因此查资料之后得到解决方案：使用huggingface镜像站

Huggingface CLI

huggingface cli是hf官方的下载工具，使用pip安装：

pip install -U huggingface_hub
1

安装好之后引入环境变量：

export HF_ENDPOINT=https://hf-mirror.com
1

(只在当前终端生效，如果想长期生效改source文件）

然后就可以下载模型，这里下载的是facebook/bart-base，这里记住前面的facebook一定不要漏：

huggingface-cli download --resume-download facebook/bart-base --local-dir /home/mguo/models/bart-base
1

后面的–local-dir就是指定下载路径（默认的在.~/cache/huggingface/hub 中）

为了统一管理，我就下载到统一的路径了，这样加载模型从本地加载：

model_path = '/home/mguo/models/bart-base'
tokenizer = AutoTokenizer.from_pretrained(model_path, cache_dir=cache_dir)
1
2