17.Meta AI 大模型家族 LLaMA

Meta LLaMA 1 大模型技术解读

LLaMA 1：小模型+大数据

LLaMA 1 在万亿 Token 公开数据集上预训练

LLaMA 1 模型网络架构改进

大模型网络架构差异性配置总览

典型大模型网络架构对比

LLaMA 1 预训练超参数配置

典型大模型训练超参数对比

LLaMA 1 预训练效率提升与成本评估

为提升模型训练速度，Meta 团队基于进行了多项优化：

• • **因果多头注意力：**采用xformers库的因果多头注意力实现，减少显存使用和运行时间。不存储注意力权重，且不不计算由于语言建模任务的因果性质而被掩盖的key/query分数来实现的 。
• • 减少重复激活计算：在反向传播过程中通过检查点技术，减少了需要重新计算的激活量。具体来说，保存计算成本高的激活输出，如线性层的输出。这是通过手动实现Transformer层的反向传播函数（替代 PyTorch autograd）。
• • 模型并行和流水线并行：尽可能调度使得激活值计算和GPU间网络通信重叠，提升效率。

在训练 65B 模型时，Meta 代码在2048个A100 GPU(80GB)上处理速度约为380 tokens/sec/GPU 。这意味着在1.4T Tokens

数据集上训练需要约21天。与其他大模型的训练成本横向对比如下：

实验结果

LLaMA 1****实验结果 - Zero-shot 常识推理任务

LLaMA 1****实验结果 – QA 和语义理解任务

LLaMA 1****实验结果 – 数学和代码生成任务

LLaMA 1****实验结果 – 多任务能力

LLaMA 衍生模型家族

大模型 (>10B) 发布时间线

Alpaca-7B 大模型

Vicuna-13B 大模型

LLaMA 2

LLaMA 2 vs LLaMA 1

LLaMA 2-chat 模型训练方法

Llama 2 基座模型是在 2 万亿 tokens 上预训练得到的。

然后，在 100 万人类标记数据上 进行 RLHF 训练得到 LLaMA 2-Chat 模型。

型是在 2 万亿 tokens 上预训练得到的。

然后，在 100 万人类标记数据上 进行 RLHF 训练得到 LLaMA 2-Chat 模型。