Evaluating Open-Domain Question Answering in the Era of Large Language Models

本文是LLM系列文章，针对《Evaluating Open-Domain Question Answering in the Era of Large Language Models》的翻译。

摘要

词汇匹配仍然是开放域问答(QA)事实上的评价方法。不幸的是，当一个可信的候选答案没有出现在黄金答案列表中，词汇匹配就会完全失败，随着我们从抽取模型转向生成模型，这种情况越来越多。最近大型语言模型(llm)在QA方面的成功加剧了词汇匹配失败，因为候选答案变得更长，从而使与黄金答案的匹配更具挑战性。没有准确的评估，开放领域QA的真正进展仍然是未知的。在本文中，我们通过在NQ-OPEN(一个流行的基准)的子集上手动评估它们的答案，对各种开放域QA模型(包括llm)进行了彻底的分析。我们的评估显示，虽然所有模型的真实性能都被严重低