一 本文摘要
股票价格往往很难预测，因为我们很难准确建模数据点之间的短期和长期时间关系。卷积神经网络（CNN）擅长找出用于建模短期关系的局部模式。然而，由于其有限的观察范围，CNN无法捕捉到长期关系。相比之下，Transformer可以学习全局上下文和长期关系。本文提出了一种结合CNN和Transformer的方法，来同时建模时间序列中的短期和长期关系，并预测未来股票价格是上涨、下跌还是保持不变。实验证明，这种方法在预测S&P 500成分股的盘中股价变动方面，相对于基准方法预测准确率提高了3%到14%不等。
二 背景知识
时间序列预测是一项具有挑战性的任务，尤其在金融行业中。它涉及对历史数据进行统计分析，以理解其中的复杂线性和非线性关系，并预测未来的趋势。在金融行业中，常见的预测应用包括预测市场上交易的公司股票的买入/卖出情况或价格的正/负变动。
传统的时间序列预测方法包括移动平均法、指数平滑法、自回归移动平均模型（ARMA）、自回归积分移动平均模型（ARIMA）和季节性模型。移动平均法通过历史数据的平均值进行预测，而指数平滑法则考虑了近期数据的权重。ARMA模型结合了自回归和移动平均，而ARIMA模型在此基础上增加了对非平稳序列的差分处理。对于具有明显季节性变化的数据，可以使用季节性模型进行预测。然而，这些传统方法在处理复杂的非线性关系和长期依赖性方面有一定的限制。随着深度学习的发展，越来越多的研究关注于使用神经网络和深度学习模型进行时间序列预测。
深度学习模型中的循环神经网络（RNN）和长短期记忆（LSTM）网络被广泛应用于时间序列预测任务。RNN模型通过循环结构在网络内部传递信息，可以有效地处理序列数据的依赖关系。LSTM网络则通过门控机制，能够更好地处理长期依赖性