摘要
线性预测模型的近期热潮质疑了对Transformer基础架构进行修改的持续热情。这些预测器利用Transformer来建模时间序列的全局依赖性，每个时间序列标记由相同时间戳的多个变量组成。然而，Transformer在预测具有较大回溯窗口的时间序列时面临性能下降和计算爆炸的问题。此外，为每个时间序列标记嵌入的每个变量融合了多个表示潜在延迟事件和不同物理测量值的变量，这可能导致学习基于变量的表示并最终导致注意力图无意义。在这项工作中，我们反思了Transformer组件的职责，并在不修改基本组件的情况下重新利用Transformer架构。我们提出了iTransformer，它简单地在反转维度上应用了注意力和前馈网络。具体来说，各个序列的时间点被嵌入到变量标记中，注意力机制利用这些标记来捕捉多变量相关性；同时，前馈网络被应用于每个变量标记以学习非线性表示。iTransformer模型在具有挑战性的真实数据集上实现了最新的表现，这进一步提升了Transformer家族的性能，在不同的变量上具有推广能力，并且更好地利用了任意回溯窗口，使其成为时间序列预测的基本骨干替代方案。代码可在以下仓库中获得：https://github.com/thuml/iTransformer。