论文笔记--Llama3 report

1. 文章简介

• 标题：Llama3 Report
• 作者：Meta
• 日期：2024.04

2. 性能升级

  Llama3系列本次开源了8B和70B模型，在多个benchmarks上取得了SOTA表现。具体评估细节可以参见github

  本次验证增加了高质量的人工评估集，涵盖12种场景（寻求建议、头脑风暴、分类、闭源QA、编码、创意写作、信息抽取、角色扮演、开放QA、推理、重写、摘要）共计1800个prompts。Llama3在这些prompts上表现超过GPT-3.5等模型：

3. 模型升级

3.1 模型架构升级

  相比于Llama2[1]，Llama3在模型架构上没有明显改变，仍采用transformer的decoder架构，模型架构升级如下

• 词表大小由32K升级为128K
• 采用GQA编码（Llama2也采用了GQA）
• 上下文长度从4K增加为8k(8192)个tokens，并使用mask保证self-attention不跨文章
  

3.2 数据升级

  相比于Llama2，Llama3的数据也进行了升级，主要升级如下

• 总tokens数从2T增加到15T
• 包含更多的代码
• 包含超过5%的非英文语料
    为了保障数据质量，Llama3构建了数据清洗pipelines，包含启发式规则，NSFW（不安全内容过滤）、语义去重。此外，Meta基于Llama2的高质量内容生成能力，通过Llama2生成数据来训练文本质量分类器。

3.3 指令微调

  Llama3采用了SFT、PPO、DPO组合的方式进行后训练（Post-training），Meta精心筛选了prompts的质量，从而大幅提高了模型表现。Meta发现模型有时候知道如何产生正确答案但不知道如何选择它，而通过PPO和DPO可提高模型的选择能力，从而提高在推理和编码任务上的表现。

4. 原文传送门

Meta Llama3 report
Meta Llama3 Model

6. References

[1] 论文笔记–Llama 2: Open Foundation and Fine-Tuned Chat Models