learn to Adapt for Generalized Zero-shot Text Classification

第一天

摘要

学习步骤

翻译—将引用文献的模型及解决的问题大致了解下——构建文章分析思路—了解框架——全部将其搞定都行啦的样子与样子，后续再自己斟酌，全部将其搞定都行啦的理由与打算。（后续再补充）
争取一篇文章，把所有相关领域的全貌都了解以下，
全部搞清楚都行啦的样子与打算。

摘要

生成式零样本文本分类目的是分类文本实例在已有的可见类别和逐渐增加的不可见类别。许多现存的方法效果很差，因为学习的参数仅能够优化可见类别而不是两者都能优化，并且参数在程序执行过程中，保持不变的。为了解决这些挑战，我们 提出来一个新颖的LTA网络框架，该框架使用一种变体的元学习框架，特别地, LTA使用可见类和虚拟的不可见类去模拟一个与测试时间一致的生成式零样本场景来训练一个自适应分类器，同时，学习去校准这个类原型和样本表示去使学习参数适应输入的不可见类别。
我们声称这提出的模型能够代表所有原型和从两个类到样本空间中更一致分布的样本。
针对五个文本分类数据集扩展实验显示我们的模型大幅度优于已有的方法。代码和整个数据集可以被找到在如下地址中：
LTA模型

待学习内容

A novel Learn to Adapt(LTA) network
a variant meta-learning framework
the class prototypes
需要解决的问题

Introduction

文本分类在许多自然语言处理任务中扮演着很重要的角色，比如：问答分类、新闻分类、用户意向分类等等。虽然各种各样的方法已经成功用于监督文本分类中，当应用在越来越多无标签训练数据预测时，其经常崩溃。零样本学习的目的是在测试阶段分类不可见类别实例，与其不同的是，生成式零样本，我们聚焦于这些工作，目的是分类文本样本，从已经存在的可见类别和越来越多的新颖类别，因为，这针对可见类别有一个强烈的偏见，生成式零样本是一个更富有挑战的关键性问题。

待学习

问答分类、新闻分类、用户意向分类、
——(Minaee et al.,2021)
学习其如何引用以及怎样引用都行啦
监督学习文本分类（supervised text classification)
这些方法是经常崩溃的当应用在越来越多的无标签训练数据上，（Pourpanah et al.2020)
零样本分类的目标是在测试阶段分类不可见类别，
（RomeraParedes and Torr,2015;Wang et al,2019)
生成式零样本分类。

第二段

现有的方法主要聚焦于直推式方法为生成式零样本分类，主要有以下：

• Rios and Kavuluru(2018) 使用一个图卷积神经网络去增强不可见类别的标签嵌入。
• Zhang et al.(2019) and Song et al.(2020) 基于辅助信息基础上的不可见类别，为其生成一个视觉特征嵌入。比如，类级别属性和文本描述

近年来

• Ye et al(2020) 使用一个增强的自我训练方法去利用无标签数据，整个训练阶段。
  （reinforced self-training methods )

待学习

图卷积神经网络，
illusion feature embeddings
class-level attributes or text description
reinforced self-training methods

第三段

假设不知道，整个模型的训练阶段，不可见类别是可利用的，研究者们利用直推式方法，去处理零样本文本分类问题，

• ReCapsNet(Liu et al.2019)
  使用一个基于维度注意的意图胶囊网络，和组建零样本分类原型，通过相似度矩阵转换。
• SEG（Yan.et al,2020）
  利用一个异常点检测方法能够被直接利用到ReCapsNet，拿能够先区分主要领域，然后，产出最后分类标签。

待学习内容

直推式方法：inductive approaches
a dimensional attention-based intent capsule network
zero-shot class prototypes
异常点检测方法

第四段

然而，这个现存的方法仍然有两个关键性的限制，
首先，这些方法的目标是为不可见类别传递有溢知识，这些模型仅仅能够学习优化参数，通过最小化可见类别的实例损失。尽管显示校准在未见类上预测，
因此，针对可见类别上的偏置问题并不能很好的解决，第二，虽然其中一些在构建不可见类别的原型上考虑到了the inter-class relationship。
在构建不可见见类别的原型时，模型保持静态当用于在未来应用上的许多新闻分类上是没有问题，
结果，这些模型显示了一个高质量的差距在可见类别和不断增加的不可见类别上的差距上。

待学习内容

domain bias problem
the inter-class relationship
constructing prototypes for unseen classes

第五段

为了解决这些问题，成功的在少样本任务上使用元学习，我们提出了一个经典的LAT网络为生成零样本文本分类，具体来说，提出的LTA模仿在零样本学习的多个阶段上进行学习，设置明确的整个训练时间，使这个学习与测试环境保持一致，并且使其更加普遍化。模型主要从两个方面扩展其能力：原型适应和样本适应。
在每个阶段中，LTA在可见类和不可见类适应代表性原型，假设不可见类能够帮助在校准看见和有能力的类中，模型能够学习敏感性类表示，
更新所有原型，被使用产生一系列校准参数，称为语义成分。为了指导这个适应的样本嵌入，这设计用来补偿压缩特征。
压缩特征在整个训练阶段能够被忽视，如果其并没有区分可见类，而且对识别看不见类至关重要，改良过的样本嵌入能够基于相似性得分分类，这些所有能够适应类原型，相同的序列也能够被直接应用在测试集上，LTA模型以一种即兴的方式执行类预测和理性适应学习模型。

待学习

元学习：meta-learning
LTA network
prototype adaptation
sample adaptation
fake unseen classes
the class-sensitive representations
semantic components
the adaptation of sample embeddings
the shrinking features
in an one-the-fly manner
慢慢的将各种方式全部搞定，慢慢的将各种零样本啥的技术都搞定，全部都将其搞透彻，搞完整都行啦的理由！

第六段

总之，我们的贡献包括：

• 我们提出一个新颖的LAT网络架构为生成式零样本分类，这能够逐渐的适应可见类别和逐渐增加的不可见类别在测试阶段
• 我们提出了一个方法，为校准原型和样本嵌入去推断一个全局性表示空间，有效的地避免了可见类别的过拟合。
• 在五个生成式零样本分类的数据集上，结果显示：我们的方法大幅度优于传统方法。

待学习

LAT网络、
a global representation space

学习心得

先到此为止，慢慢的将上面各个阶段，全部搞定，然后再继续往下推导，各种网络结构啥的全部都将其搞定都行啦的样子与打算。全部都将其搞定都行啦的理由与样子。

学习心得

会自己把论文中引用的模型以及方法，都全部给其搞透彻，一篇文章，将所有的方法及内容全部搞定。全部的推理正确。