【ACL 2022】用于多标签文本分类的对比学习增强最近邻机制

重磅专栏推荐：
《大模型AIGC》
《课程大纲》
《知识星球》

本专栏致力于探索和讨论当今最前沿的技术趋势和应用领域，包括但不限于ChatGPT和Stable Diffusion等。我们将深入研究大型模型的开发和应用，以及与之相关的人工智能生成内容（AIGC）技术。通过深入的技术解析和实践经验分享，旨在帮助读者更好地理解和应用这些领域的最新进展

论文地址：https://aclanthology.org/2022.acl-short.75.pdf

1. 摘要

多标签文本分类（MLTC）是自然语言处理中的一项基本且具有挑战性的任务。以往的研究主要集中在学习文本表示和建模标签相关性上。然而，在预测特定文本的标签时，通常忽略了现有的类似实例中的丰富知识。为了解决这一问题，作者提出了一个k最近邻（kNN）机制，该机制检索几个相邻实例并用它们的标签值作为模型的输出。此外，作者设计了一个多标签对比学习目标，使模型学习到kNN的分类过程，并提高了在推理过程中检索到的相邻实例的质量。实验表明，该方法可以为多个MLTC模型带来一致的和可观的性能改进，包括SOTA的预训练和非预训练模型。

2. 方案介绍

如上图所示，作者为MLTC设计了一个k个最近邻机制（步骤2,3），并通过使用多标签对比学习目标训练模型（步骤1）对其进行增强。

2.1 问题定义

设 D = { （ x i ， y i ） } i = 1 N D = \{（x_i，y_i）\} ^N_{i=1} D={ （xi​，yi​）}i=1N​是由N个实例组成的MLTC训练集。每个$x_i$都是一个文本，$y_i\in {0,1}^L$为对应的 multi-hot 标签向量，其中L为标签总数。MLTC的目标是学习从输入文本到相关标签的映射。

2.2 最近邻MLTC

为了在推理过程中从现有实例中获取知识，作者提出了一个MLTC的k个最近邻机制，包括两个步骤：

• 构建训练实例的数据存储（步骤2）：给定来自训练集$（x_i，y_i）\in D$的一个实例，其文本表示向量$h_i$