通过text-generation-webui部署Llama2-Chinese-7b-Chat模型时报错

关注 码龄 粉丝数 原力等级 -- 被采纳 被点赞 采纳率 JamXena 2024-03-22 23:38 采纳率: 0% 浏览 13 首页/ 编程语言 / 通过text-generation-webui部署Llama2-Chinese-7b-Chat模型时报错 pythonllama有问必答 问题遇到的现象和发生背景 通过text-generation-webui部署Llama2-Chinese-7b-Chat模型时报错，不知道原因，并想知道机型是否支持运行模型： 23:15:09-830832 INFO Loading "Llama2-Chinese-7b-Chat" 23:15:09-857725 ERROR Failed to load the model. Traceback (most recent call last): File "/root/anaconda3/envs/llama/lib/python3.11/site-packages/transformers/utils/import_utils.py", line 1390, in _get_module return importlib.import_module("." + module_name, self.__name__) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/root/anaconda3/envs/llama/lib/python3.11/importlib/__init__.py", line 126, in import_module return _bootstrap._gcd_import(name[level:], package, level) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "", line 1204, in _gcd_import File "", line 1176, in _find_and_load File "", line 1147, in _find_and_load_unlocked File "", line 690, in _load_unlocked File "", line 940, in exec_module File "", line 241, in _call_with_frames_removed File "/root/anaconda3/envs/llama/lib/python3.11/site-packages/transformers/models/llama/modeling_llama.py", line 53, in from flash_attn import flash_attn_func, flash_attn_varlen_func File "/root/anaconda3/envs/llama/lib/python3.11/site-packages/flash_attn/__init__.py", line 3, in from flash_attn.flash_attn_interface import ( File "/root/anaconda3/envs/llama/lib/python3.11/site-packages/flash_attn/flash_attn_interface.py", line 10, in import flash_attn_2_cuda as flash_attn_cuda ImportError: libcudart.so.12: cannot open shared object file: No such file or directory The above exception was the direct cause of the following exception: Traceback (most recent call last): File "/root/text-generation-webui/modules/ui_model_menu.py", line 245, in load_model_wrapper shared.model, shared.tokenizer = load_model(selected_model, loader) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/root/text-generation-webui/modules/models.py", line 87, in load_model output = load_func_map[loader](model_name) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/root/text-generation-webui/modules/models.py", line 235, in huggingface_loader model = LoaderClass.from_pretrained(path_to_model, **params) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/root/anaconda3/envs/llama/lib/python3.11/site-packages/transformers/models/auto/auto_factory.py", line 560, in from_pretrained model_class = _get_model_class(config, cls._model_mapping) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/root/anaconda3/envs/llama/lib/python3.11/site-packages/transformers/models/auto/auto_factory.py", line 381, in _get_model_class supported_models = model_mapping[type(config)] ~~~~~~~~~~~~~^^^^^^^^^^^^^^ File "/root/anaconda3/envs/llama/lib/python3.11/site-packages/transformers/models/auto/auto_factory.py", line 732, in __getitem__ return self._load_attr_from_module(model_type, model_name) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/root/anaconda3/envs/llama/lib/python3.11/site-packages/transformers/models/auto/auto_factory.py", line 746, in _load_attr_from_module return getattribute_from_module(self._modules[module_name], attr) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/root/anaconda3/envs/llama/lib/python3.11/site-packages/transformers/models/auto/auto_factory.py", line 690, in getattribute_from_module if hasattr(module, attr): ^^^^^^^^^^^^^^^^^^^^^ File "/root/anaconda3/envs/llama/lib/python3.11/site-packages/transformers/utils/import_utils.py", line 1380, in __getattr__ module = self._get_module(self._class_to_module[name]) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/root/anaconda3/envs/llama/lib/python3.11/site-packages/transformers/utils/import_utils.py", line 1392, in _get_module raise RuntimeError( RuntimeError: Failed to import transformers.models.llama.modeling_llama because of the following error (look up to see its traceback): libcudart.so.12: cannot open shared object file: No such file or directory ^C23:23:32-588557 INFO Received Ctrl+C. Shutting down Text generation web UI gracefully. 操作环境、软件版本等信息 华为云服务器16vCPUs | 64GiB | g6.4xlarge.4Ubuntu 22.04 server 64bit for GPUcuda11.8 虚拟环境py3.11 我想要达到的结果 通过webui正常运行模型 展开全部 收起 写回答 好问题 0 提建议 追加酬金 关注问题 微信扫一扫 点击复制链接 分享 邀请回答 编辑 收藏 删除 结题 收藏 举报 追加酬金 (90%的用户在追加酬金后获得了解决方案) 当前问题酬金 ¥ 0 (可追加 ¥500） ¥ 15¥ 20¥ 50¥ 100¥ 200 支付方式 扫码支付 二维码出错 点击刷新 支付金额 15 元 提供问题酬金的用户不参与问题酬金结算和分配 支付即为同意 《付费问题酬金结算规则》 结题 再想想 删除 再等等

3条回答 默认 最新

• 关注

  码龄 粉丝数 原力等级 --

  • 被采纳
  • 被点赞
  • 采纳率

  

  CSDN专家-深度学习进阶 2024-03-25 14:28

  关注

  可以尝试切换较低版本的 Python 环境,有时新版本的 Python 会与某些库存在兼容性问题

  本回答被题主选为最佳回答 , 对您是否有帮助呢? 本回答被专家选为最佳回答 , 对您是否有帮助呢? 本回答被题主和专家选为最佳回答 , 对您是否有帮助呢?
  解决 无用

  评论 打赏

  微信扫一扫

  

  点击复制链接

  分享

  举报
  编辑

  预览

  

  轻敲空格完成输入

  • 显示为
  • 卡片
  • 标题
  • 链接

  评论

  按下Enter换行，Ctrl+Enter发表内容

• 关注

  码龄 粉丝数 原力等级 --

  • 被采纳
  • 被点赞
  • 采纳率

  

  GISer Liu 2024-03-28 22:23

  关注

  该回答引用自GPT-3.5,由博主GISer Liu编写：

  根据您提供的错误信息，问题似乎出在缺少名为libcudart.so.12的共享对象文件。这可能是由于您的环境缺少CUDA
  12的安装或配置不正确导致的。您可以尝试以下解决方案：

  1. 安装CUDA 12： 确保您的服务器上安装了CUDA 12，并且已正确配置。您可以根据官方文档或教程安装CUDA 12。
  2. 配置CUDA 路径： 如果已安装CUDA 12，但仍出现此错误，请确保CUDA 12的路径已正确添加到系统环境变量中。您可以编辑~/.bashrc或~/.bash_profile文件，并添加以下行：
     bashCopy code

     export LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64:$LD_LIBRARY_PATH
     export PATH=/usr/local/cuda-12.2/bin:$PATH
     

     然后运行source ~/.bashrc或source ~/.bash_profile使更改生效。
  3. 重新安装依赖包： 尝试重新安装transformers和其他相关的Python依赖包，可能会解决缺少libcudart.so.12的问题：
     Copy code

     pip uninstall transformers
     pip install transformers
     

  4. 检查CUDA 版本： 确保您安装的CUDA 版本与模型所需的CUDA 版本匹配。如果模型需要CUDA 11而您安装了CUDA 12，则可能会导致此错误。
  5. 重启服务器： 完成上述步骤后，建议重启服务器以确保所有更改都已应用。
     请尝试以上方法，看看能否解决您的问题。如果问题仍然存在，请提供更多细节或尝试过程中的其他错误信息，以便我们能够更进一步地帮助您解决问题。

  如果该回答解决了您的问题，请采纳！如果没有，请参考以下方案进行修订

  
  本回答被题主选为最佳回答 , 对您是否有帮助呢? 本回答被专家选为最佳回答 , 对您是否有帮助呢? 本回答被题主和专家选为最佳回答 , 对您是否有帮助呢?
  解决 无用

  评论 打赏

  微信扫一扫

  

  点击复制链接

  分享

  举报
  编辑

  预览

  

  轻敲空格完成输入

  • 显示为
  • 卡片
  • 标题
  • 链接

  评论

  按下Enter换行，Ctrl+Enter发表内容
• 关注

  码龄 粉丝数 原力等级 --

  • 被采纳
  • 被点赞
  • 采纳率

  

  Kwan的解忧杂货铺 Java领域优质创作者 2024-03-22 23:38

  关注

  JamXena 晚上好🌙🌙🌙
  本答案参考ChatGPT-3.5

  报错信息显示在加载模型时出现了错误，具体错误如下所示：

  ImportError: libcudart.so.12: cannot open shared object file: No such file or directory
  

  这个错误是由于缺少libcudart.so.12文件导致的。libcudart.so.12是CUDA运行库的一部分，缺少该文件会导致无法加载CUDA相关的库文件。

  解决方案：

  1. 确认是否已安装CUDA并配置正确。CUDA是NVIDIA提供的并行计算平台，用于加速机器学习和深度学习任务。必须正确安装和配置CUDA才能使用GPU进行模型训练和推理。请确认CUDA是否已正确安装，并且应该安装与模型要求的版本（可能是CUDA 12）相匹配的版本。

  2. 检查CUDA运行库是否已正确安装。请确认libcudart.so.12文件是否存在于系统的LD_LIBRARY_PATH环境变量所指定的路径中。可以使用以下命令查找该文件：

     sudo find / -name "libcudart.so.12"
     

     如果找到该文件，请将包含该文件的路径添加到LD_LIBRARY_PATH环境变量中，可以通过在.bashrc或.bash_profile文件中添加一行来永久设置该环境变量：

     export LD_LIBRARY_PATH=/path/to/libcudart.so.12:$LD_LIBRARY_PATH
     

     然后重新加载环境变量或重启系统。

  3. 检查模型是否适用于当前的GPU。请确认模型是否适用于您当前的GPU型号和CUDA版本。某些模型可能要求特定的GPU架构或CUDA版本。如果您的GPU不符合模型要求，您可能需要升级GPU或选择适用于您的GPU的模型。

  4. 更新或重新安装所需的依赖项。请检查您的环境是否缺少一些必需的依赖项，例如transformers和flash_attn。您可以尝试使用以下命令更新或重新安装这些依赖项：

     pip install --upgrade transformers
     pip install --upgrade flash_attn
     

  请根据上述解决方案逐一尝试解决问题，如果问题仍然存在，请提供更多的信息和上下文，以便我们能够更好地帮助您解决问题。

  展开全部

  本回答被题主选为最佳回答 , 对您是否有帮助呢? 本回答被专家选为最佳回答 , 对您是否有帮助呢? 本回答被题主和专家选为最佳回答 , 对您是否有帮助呢?
  解决

  无用 1

  评论 打赏

  微信扫一扫

  

  点击复制链接

  分享

  举报
  编辑

  预览

  

  轻敲空格完成输入

  • 显示为
  • 卡片
  • 标题
  • 链接

  评论

  按下Enter换行，Ctrl+Enter发表内容

收起2条回答

向“C知道”追问

编辑

预览

轻敲空格完成输入

• 显示为
• 卡片
• 标题
• 链接

报告相同问题？

提交 关注问题

删除 再等等

再想想 采纳