Enhancing Self-Consistency and Performance of Pre-Trained Language Model

本文是LLM系列文章，针对《Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference》的翻译。

摘要

虽然大型预训练语言模型很强大，但它们的预测在测试输入之间往往缺乏逻辑一致性。例如，最先进的Macaw问答(QA)模型回答“麻雀是鸟吗?”鸟有脚吗?麻雀有脚吗?为了解决这种失败模式，我们提出了一个框架，即通过关系检测一致性校正(ConCoRD)，用于使用预训练的自然语言推理(NLI)模型提高预训练的NLP模型的一致性和准确性，而无需微调或重新训练。给定一批测试输入，ConCoRD为每个输入采样几个候选输出，并实例化一个因子图，该因子图既说明了模型对孤立的每个答案选择的可能性的信念，也说明了NLI模型对成对的答案选择兼容性的信念。我们证明了一个加权的MaxSAT求解器可以在这个因素图下有效地计算高质量的答案选择ÿ