TARNet: Task-Aware Reconstruction for Time-Series Transformer(KDD2022)

时间序列数据包含时间顺序信息，可以指导预测性结束任务的表示学习(例如，分类，回归)。最近，有一些尝试利用这种顺序信息，通过重构随机屏蔽的时间段的时间序列值，首先预训练时间序列模型，然后在同一数据集上进行结束任务微调，证明了结束任务性能的改善。然而，这种学习范式将数据重构与最终任务解耦。我们认为，通过这种方式学习到的表示不会被结束任务所告知，因此，可能对结束任务的表现不是最优的。事实上，不同时间戳的重要性在不同的结束任务中可能会有很大的差异。我们认为，通过重构重要的时间戳来学习表征将是提高结束任务性能的更好策略。在这项工作中，我们提出了TARNet1，任务感知重构网络，一个使用变形金刚学习任务感知数据重构的新模型，增强了终端任务的性能。具体地说，我们设计了一个数据驱动的掩蔽策略，利用自我注意分数分布从结束任务训练到被结束任务视为重要的样本时间戳。然后，我们屏蔽那些时间戳上的数据并重构它们，从而使重构任务具有感知性。该重建任务与结束任务在每个时期交替训练，共享单个模型中的参数，允许通过重建学习到的表示，以提高结束任务的性能。在数十个分类和回归数据集上的广泛实验表明，TARNet在所有评估指标上都显著优于最先进的基线模型。

阅读者总结：这篇论文是希望学习到的表征和下游的任务，比如分类，回归等，更加匹配。但是文中提到的两个部分，没有看出要实现这点。这篇论文强调不同时间戳赋予不同的权重，因此采用了一个mask 矩阵，但是这个mask矩阵与transformer来学习表征之间是什么关系了？文中显然没有体现出来。2）利用mask矩阵，有点类似进行时间序列缺值处理，3）没有 Task-aware Reconstruction 这部分为什么是reconstruction，在模型中没有看到解码过程，同时transformer表征学习过程中，再重构的意义是什么？给下游任务？有点看不懂。。。。。。

 

 图1显示了TARNet的学习过程。使用transformer编码器[29]作为骨干模型，我们在同一模型上交替训练结束任务(图1(a))和数据重建任务(图1(c))。为了在数据重构期间计算要屏蔽的时间戳，我们设计了一种数据驱动的屏蔽策略(图1(b))。它使用transformer编码器在最终任务训练期间产生的自注意力分数分布，并确定要屏蔽的时间戳集。由于两个任务共享参数，在重建过程中学习到的表示可以有效地被最终任务利用来提高性能。

End Task (𝑇𝐸𝑁𝐷) 

 

 Task-aware Reconstruction (𝑇𝑇𝐴𝑅)