检索增强微调(RAFT)---使语言模型适应特定领域的 RAG

原文地址：retrieval-augmented-fine-tuning-raft

2024 年 3 月 29 日

摘要(Abstract)

• 论文介绍了一种名为Retrieval Augmented Fine Tuning（RAFT）的训练方法，旨在提升模型在特定领域“开卷”环境下回答问题的能力。
• RAFT通过训练模型忽略那些对回答问题没有帮助的文档（称为干扰文档），同时引用相关文档中正确的序列来回答问题。
• 通过RAFT的训练方法，模型能够更好地推理，并在特定领域的RAG任务中提高性能。

引言(Introduction)

• 大型语言模型（LLMs）在大量公共数据上的训练已经取得了显著进展。
• 然而，LLMs越来越多地被用于专业领域，如特定软件框架的代码补全或特定文档集合上的问题回答。
• 适应专业领域的关键是在训练截止后构建的资源上进行训练，这对于许多新兴应用至关重要。

RAFT方法介绍

• RAFT方法通过结合监督式微调（Supervised Fine-Tuning，简称SFT）和检索增强生成（RAG）来适应预训练LLMs。
• 训练数据包括问题（Q）、一组文档（Dk）