• huggingface上传或发布自己的模型(大语言模型LLM)


    创建huggingface账号和token

    https://huggingface.co/join注册huggingface账号,登录账号后,在https://huggingface.co/settings/tokens创建token,注意需要将token的类型设置为WRITE。

    安装必要软件包和初始化环境

    安装git lfs

    curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
    sudo apt-get install git-lfs
    git lfs install
    
    • 1
    • 2
    • 3

    安装并登录huggingface-cli

    pip install huggingface_hub
    huggingface-cli login # 注意,这里需要输入你创建的token
    
    • 1
    • 2

    创建repo

    huggingface-cli repo create model_name
    
    • 1

    上传自己的模型

    首先git clone到本地

    git lfs install
    git clone https://huggingface.co/your_username/model_name
    
    • 1
    • 2

    然后将你的模型(checkpoint)保存到这个repo中。
    再进行git repo的上传。

    git add .
    git commit -m "commit from $USER"
    git push
    
    • 1
    • 2
    • 3

    其中,$USER指的是你配置的github的用户名或邮箱。关于如何配置,见https://blog.csdn.net/weixin_44022515/article/details/105967226。

    之后,再打开huggingface你模型地址的网页,即可看到自己发布的模型。(我上传的网速好慢,才1.6MB/s)

    更新

    执行git push很久后,终于成功上传,但是,出现了如下错误

    error: failed to push some refs to 'https://huggingface.co/itpossible/JiuZhou'
    hint: Updates were rejected because the remote contains work that you do
    hint: not have locally. This is usually caused by another repository pushing
    hint: to the same ref. You may want to first integrate the remote changes
    hint: (e.g., 'git pull ...') before pushing again.
    hint: See the 'Note about fast-forwards' in 'git push --help' for details.
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    原来是,在他上传过程中,我闲着没事,去huggingface的repo里改了readme,导致版本出现更改。
    解决方法:

    git pull origin 分支名(如main)
    
    • 1

    这个时候,我们会发现,readme会更新到我们的服务器上。此时再执行git pull,便能成功,

  • 相关阅读:
    3-6数据链路层-广域网
    关于我有一个后台可配置blog的系统,我使用nuxt做了一个网站,后台可以更新文章这件事情
    【牛客刷题】反转固定区间链表、每k个节点一组反转
    vite的学习笔记
    练习:完成试卷的页面设计
    RAxML-NG安装与使用-raxml-ng-v1.2.0(bioinfomatics tools-013)
    pod(一):Kubernetes(k8s)创建pod的两种方式
    uniapp easycom
    科技云报道:Citrix正式退出中国市场!国产们谁能真正顶上?
    python线程终止线程
  • 原文地址:https://blog.csdn.net/weixin_44612221/article/details/136356734