EMNLP 2022 | SentiWSP: 基于多层级的情感感知预训练模型

©PaperWeekly 原创 · 作者 | 范帅

单位 | 厦门大学

研究方向 | 自然语言处理

本文主要介绍我们在自然语言处理领域被 EMNLP 2022 接收的工作，我们提出了 SentiWSP，一种基于多层级的情感感知预训练模型，能够在多个情感分析下游任务上微调取得竞争性的性能。该模型通过巧妙的设计词级别和句子级别的预训练任务，使得模型可以更好地在两个层级捕捉到句子的情感信息。

论文标题：

Sentiment-Aware Word and Sentence Level Pre-training for Sentiment Analysis

收录会议：

EMNLP 2022

论文链接：

https://arxiv.org/abs/2210.09803

代码链接：

https://github.com/XMUDM/SentiWSP

本文作者：

范帅（厦门大学），林琛（厦门大学），李浩楠（墨尔本大学），林正昊（厦门大学），张航（IDEA Research），宫叶云（MSRA），郭健（IDEA Research），段楠（MSRA）

研究背景

当前，预训练模型例如 GPT，BERT，RoBERTa，通过在大规模无标注语料上预训练之后，可以在很多下游任务上微调取得很好的性能，其中也包含典型的文本分类任务，即情感分析任务。

近两年一些在在情感领域做的一些预训练模型的工作能够在情感分析的下游任务上微调取得很好的性能，例如 SentiBERT，SentiLARE，SENTIX 等，往往都是在词级级别构建情感相关的预训练任务，