AI-windows下使用llama.cpp部署本地Chinese-LLaMA-Alpaca-2模型

Llamp.cpp环境配置

git clone git@github.com:ggerganov/llama.cpp.git
cd llama.cpp
mkdir build
cd build
cmake ..
cmake --build . --config Release
1
2
3
4
5
6

生成的文件在.\build\bin\，我们要用的是main.exe，bin\main.exe -h查看使用帮助

Chinese-LLaMA-Alpaca-2模型介绍

本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练