PADA: Example-based Prompt Learning for on-the-fly Adaptation to Unseen Domains

Abstract

• 本文主要解决领域适应问题，即在几个源领域上训练算法，使其可以应用到未知领域的样本上。
• PADA：An example-based autoregressive Prompt learning algorithm for
  on-the-fly Any-Domain Adaptation
  • 基于 T5 模型
  • 给定一个测试样本，PADA 首先生成一个唯一的 prompt，然后基于这个 prompt，使用 NLP 预测任务对前述样本进行打标。
  • PADA 的训练目标：生成由不限长度的 token 序列组成的 prompt. 这个 prompt 中包含 领域相关特征 DRFs (Domain Related Features)
    • DRF 刻画了每个 source domains
    • 直觉上来说，生成的 prompt 是给定样本的唯一签名，并将其映射到了由 source domains 组成的语义空间
• 在三个任务（text classification and sequence tagging）上实验，14 个多源适配场景下 PADA 均超过强基线。
• 代码：https://github.com/eyalbd2/PADA