知识增强语言模型提示 零样本知识图谱问答10.8+10.11

摘要

大型语言模型（LLM）能够执行 零样本closed-book问答任务 ，依靠其在预训练期间存储在参数中的内部知识。然而，这种内部化的知识可能是不足和错误的，这可能导致LLM生成错误的答案。此外，对LLM进行微调以更新其知识是昂贵的。为此，本文提议直接在LLM的输入中增加知识。具体而言，首先根据问题与相关事实之间的语义相似性从知识图谱中检索与输入问题相关的事实。然后，将检索到的事实以提示的形式前置到输入问题之前，然后将其转发给LLM生成答案。本文提出的框架，称为knowledge-Augmented language model PromptING（KAPING），无需模型训练，因此完全是零样本的。

还验证了KAPING框架在知识图谱问答任务上的性能，该任务旨在基于知识图谱上的事实回答用户的问题，在此任务上，本文的方法在多个不同规模的LLM上相对于相关的零样本基线平均提高了高达48%的性能。

Closed-book问答任务指在回答问题时，模型只能依靠其在预训练阶段学到的知识，而无法进行额外的外部搜索或引用。这意味着在回答问题时，模型不能直接访问互联网或其他外部资源。
Zero-shot closed-book问答任务是一种更具挑战性的闭书问答任务，其中模型在没有任何先前训练的情况下，无需额外的模型微调或更新，直接回答问题。
在传统的闭书问答任务中，模型需要在预训练后进行微调，以根据特定的问题集和答案集进行调整。而在zero-shot closed-book问答任务中，模型不需要进行任何额外的调整或微调，仍然可以回答新问题。
这种任务要求模型能够利用其预训练阶段学到的通用语言理解和推理能力，以及内部的知识表示来解决新问题。模型需要将问题与其内部知识进行联结，从而推断出答案，而无需对任务进行特定的针对性训练。
在zero-shot closed-book问答任务中，模型通常会使用问题的提示信息或关键词来引导答案的生成。模型会利用其预训练的语言表示能力和对内部知识的理解，以及与问题相关的提示信息，生成可能的答案。

介绍

预训练语言模型通过自监督学习在大量文本语料上进行训练，可以执行闭书问答（closed-book Question Answering，QA）任务，即仅依靠其内部参数中的知识来回答用户的问题，而不使用任何外部知识。此外，当增加语言模型的规模时，大型语言模型可以在没有任何额外微调步骤的情况下为问题生成答案，这称为语言模型提示（LM prompting）。然而，由于LLMs中的知识可能是不完整、错误和过时的，它们经常会生成事实上错误的答案，即所谓的幻觉（hallucination）（见图1a）。此外，通过参数更新来完善LLMs中的知识是昂贵的，特别是当知识不断变化时（例如货币汇率）。最后，LLMs是否正在获取正确的知识来回答问题尚不清楚。

为了克服这些限制，本文提出直接检索和注入相关知识作为输入，称为提示（prompt），传递给LLMs（图1b）。使用知识图谱作为知识源，其中包含以三元组形式表示的符号知识（头实体、关系、尾实体）。因此，为了提取与输入问题相关的事实，首先将问题中的实体与知识图谱中的实体进行匹配。然后，与知识图谱中的实体相关联的三元组被转化为文本形式，并 前置到输入问题前面 ，然后传递给LLMs生成答案。

“前置到输入问题前”
指的是将相关知识直接插入到输入问题之前，作为输入序列的一部分。在传统的问答系统中，只有输入问题作为模型的输入，模型需要通过自身的预训练知识来回答问题。而在这种方法中，我们将从知识图谱中提取的相关知识以文本形式添加到输入问题之前，形成一个新的输入序列。
举个例子，假设有一个问题：
“谁是美国的第一位总统？”。
如果我们有一个知识图谱，并且知道其中包含了以下三元组：（美国，首都，华盛顿）和（华盛顿，位于，哥伦比亚特区）。那么，在前置知识的情况下，我们可以将这些知识转化为文本形式：
“美国的首都是华盛顿，华盛顿位于哥伦比亚特区。”
然后将这个文本知识添加到原始问题之前，形成新的输入序列：
“美国的首都是华盛顿，华盛顿位于哥伦比亚特区。谁是美国的第一位总统？”。
通过这种方式，语言模型在生成答案时可以同时考虑问题和前置的知识，从而能够更好地利用外部知识来提高答案的准确性和相关性。这种前置知识的方法可以帮助语言模型更好地理解问题的上下文和意图，避免产生基于不准确或过时知识的错误答案。

因此，基于事实知识的LLMs能够生成准确的答案，减轻了幻觉问题，同时保持LLMs的参数不变，无需进行知识更新的微调。整体框架称为Knowledge-A