chatGLM2-6B模型LoRA微调数据集实现大模型的分类任务

【TOC】

1.chatglm介绍

ChatGLM 模型是由清华大学开源的、支持中英双语问答的对话语言模型，并针对中文进行了优化。该模型基于 General Language Model（GLM）架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署。

ChatGLM 具备以下特点：

充分的中英双语预训练：ChatGLM 在 1:1 比例的中英语料上训练了 1T 的 token 量，兼具双语能力。
优化的模型架构和大小：修正了二维 RoPE 位置编码实现。6B（62 亿）的参数大小，也使得研究者和个人开发者自己微调和部署 ChatGLM 成为可能。
较低的部署门槛：FP16 半精度下，ChatGLM 需要至少 13 GB 的显存进行推理，结合模型量化技术，这一需求可以进一步降低到 10GB（INT8） 和 6GB（INT4），使得 ChatGLM 可以部署在消费级显卡上。
更长的序列长度：ChatGLM 序列长度达 2048，支持更长对话和应用。
ChatGLM 微调介绍
模型微调主要分为 Full Fine-Tune 和 PEFT（Performance-Efficient Fine-Tune），前者模型全部参数都会进行更新，训练时间较长，训练资源较大；而后者会冻结大部分参数、微调训练网络结构，常见的方式是 LoRA 和 P-Tuning v2。对于 ChatGLM 来说，选择 P-Tuning v2 进行模型微调，其网络结构如下：在 Transformers 的所有层均增加 Prompt/Prefix。