主流开源大语言模型的微调方法

模型

ChatGLM2

网址

https://github.com/thudm/chatglm2-6b

原生支持微调方式

https://github.com/THUDM/ChatGLM2-6B/tree/main/ptuning

全量微调和 P-Tuning v2

ChatGLM3

网址

https://github.com/THUDM/ChatGLM3

原生支持微调方式

https://github.com/THUDM/ChatGLM3/blob/main/finetune_demo/README.md

全量微调和 P-Tuning v2

Baichuan 2

网址

https://github.com/baichuan-inc/Baichuan2

原生支持微调方式

全量微调和Lora

Qwen

网址

https://github.com/QwenLM/Qwen/blob/main/README_CN.md

原生支持微调方式

全参微调、LoRA以及Q-LoRA

框架

Firefly

https://github.com/yangjianxin1/Firefly
支持市面绝大多数模型的QLoRA和全量参数微调

Efficient-Tuning-LLMs

https://github.com/jianzhnie/Efficient-Tuning-LLMs/blob/main/README_zh.md
支持市面少数模型的QLoRA和全量参数微调

SuperAdapters

https://github.com/cckuailong/SuperAdapters
支持市面绝大多数模型的各种微调