• 本地离线模型搭建指南-中文大语言模型底座选择依据


    搭建一个本地中文大语言模型(LLM)涉及多个关键步骤,从选择模型底座,到运行机器和框架,再到具体的架构实现和训练方式。以下是一个详细的指南,帮助你从零开始构建和运行一个中文大语言模型。

    本地离线模型搭建指南将按照以下四个部分展开

    1. 中文大语言模型底座选择依据
    2. 本地运行显卡选择
    3. RAG架构实现
    4. LLaMA-Factory训练框架及工具

    1 中文大语言模型底座选择依据

    在选择中文大语言模型(LLM)的底座时,可以参考以下几个关键因素:

    1.1 模型规模与参数

    根据具体应用场景选择不同规模的模型。比如:

    • ChatGLM系列:包含6B参数的模型,适合中小规模应用,且支持商业用途。
    • LLaMA系列:提供7B、8B、13B、33B和70B等多种规模,部分版本可商用。
    • Baichuan系列:提供7B和13B参数的模型,适合需要较大规模的应用。
    • Qwen系列:提供7B、14B、72B和110B参数的模型,支持较长的上下文长度,适合复杂场景。
    • BLOOM:从1B到176B-MT,多种规模选择。
    • Aquila系列:包括7B和34B参数版本。
    • InternLM系列:从7B到20B参数,支持代码应用。
    • Mixtral、Yi、DeepSeek、XVERSE等:提供多种参数规模,适合不同应用需求。

    在这里插入图片描述

    常见底座模型细节概览:

    底座包含模型模型参数大小训练token数训练最大长度是否可商用
    ChatGLMChatGLM/2/3 Base&Chat6B1T/1.42K/32K可商用
    LLaMALLaMA/2/3 Base&Chat7B/8B/13B/33B/70B1T/2T2k/4k部分可商用
    BaichuanBaichuan/2 Base&Chat7B/13B1.2T/1.4T4k可商用
    QwenQwen/1.5 Base&Chat7B/14B/72B/110B2.2T/3T8k/32k可商用
    BLOOMBLOOM1B/7B/176B-MT1.5T2k可商用
    AquilaAquila/2 Base/Chat7B/34B-2k可商用
    InternLMInternLM/2 Base/Chat/Code7B/20B-200k可商用
    MixtralBase&Chat8x7B-32k可商用
    YiBase&Chat6B/9B/34B3T200k可商用
    DeepSeekBase&Chat1.3B/7B/33B/67B-4k可商用
    XVERSEBase&Chat7B/13B/65B/A4.2B2.6T/3.2T8k/16k/256k可商用

    1.2 训练数据与Token数

    不同模型经过不同规模的数据训练,影响其在特定任务上的表现:

    • ChatGLM:经过1到1.4T的中英文标识符训练,适合中文问答和对话。
    • LLaMA:经过1T到2T的训练。
    • Baichuan:训练数据在1.2T到1.4T之间。
    • Qwen:训练数据量高达2.2T到3T,支持复杂任务。
    • BLOOM:经过1.5T的训练。
    • XVERSE:训练数据量达2.6T到3.2T。

    1.3 上下文长度支持

    根据应用需求选择支持较长上下文长度的模型:

    • ChatGLM2-6B:上下文长度扩展到32K。
    • Qwen:支持8K到32K的上下文长度。
    • Mixtral、Yi、DeepSeek:支持200k到256k的上下文长度。

    1.4 商业用途许可

    确保所选模型允许商业用途:

    • ChatGLM、LLaMA、Baichuan、Qwen、BLOOM、Aquila、InternLM、Mixtral、Yi、DeepSeek、XVERSE等模型均允许商业用途。

    1.5 垂直领域微调与应用

    考虑模型在特定领域的微调效果:

    • 医疗、法律、金融、教育、科技、电商、网络安全、农业等领域的垂直应用。

    1.6 具体模型推荐

    以下是一些具体的模型推荐及其特点:

    • ChatGLM系列:适合中文问答和对话,经过中英文双语训练,支持商业用途。
    • LLaMA系列:提供多种规模,部分版本适合商用。
    • Baichuan系列:适合需要较大规模训练的应用。
    • Qwen系列:支持复杂任务和长上下文长度。
    • InternLM系列:适合代码相关应用。

    更多详细信息和具体模型的链接,请访问 Awesome-Chinese-LLM 项目。

    下一篇介绍
    本地离线模型搭建指南-本地运行显卡选择

  • 相关阅读:
    LLM时代中的分布式AI
    国产服务器安装onlyoffice详细教程
    新手学PCB画板选什么软件
    基于协作搜索算法的函数寻优及工程优化
    4.Spring是如何解决循环依赖的问题的?
    python学习之基本语法---语法规则---函数的基本用法(三)day9
    Pylint检查规则中文版
    STM32--EXTI外部中断
    python学习笔记(11)---(模块与包)
    学生个人网页设计作品:基于HTML+CSS+JavaScript实现摄影艺术网站 DIV布局简单的摄影主题网站
  • 原文地址:https://blog.csdn.net/Master_Shifu_/article/details/139903072