Adversarial Dynamic Shapelet Networks（AAAI2020）

Shapelets是时间序列分类的判别子序列。近年来，提出了用梯度下降法直接学习时间序列shapelets (LTS)。虽然基于学习的shapelet方法取得了比以往方法更好的效果，但它们仍然存在两个不足之处。首先，学习到的shapelets经过训练后是固定的，在测试阶段不能适应有变形的时间序列;其次，通过反向传播学习到的shapelets可能与任何真实子序列都不相似，这与shapelets的初衷相反，降低了模型的可解释性。本文提出了一种新型的shapelet学习模型——对抗动态shapelet网络(ADSNs)。采用对抗性训练策略，防止生成的shapelets偏离时间序列的实际子序列。在推理过程中，shapelet生成器生成样本特定的shapelets，动态shapelets转换使用生成的shapelets提取鉴别特征。因此，ADSN可以动态生成与实际子序列相似的shapelets，而不是具有任意形状。该模型具有较高的建模灵活性，同时保留了基于形状的方法的可解释性。在大量的时间序列数据集上进行的实验表明，与现有的基于形状的方法相比，ADSN是最先进的。可视化分析还显示了动态形状生成和对抗性训练的有效性。

背景：

1）shapelets用于将时间序列数据转换为新的表示，其中每个属性都是时间序列到其中一个shapelets的距离。

2）基于学习的方法可以具有任意形状，甚至偏离真正的子序列，这与shapelet方法的初衷相反

Proposed Method

shapelets生成器以输入时间序列的子序列为条件生成一组shapelets。然后对输入的时间序列进行动态shapelet变换提取判别特征，并利用softmax层计算各类的最终概率分布。多样性正则化项约束生成的shapelets彼此不同，而对抗性训练策略确保生成的shapelets与实际子序列相似。 

 Shapelet Generator.

为了根据输入的时间序列生成长度为L的shapelets，我们首先使用步幅为1的L长度滑动窗口来提取时间序列的子序列，然后使用一个卷积层来生成shapelets。

Dynamic Shapelet Transformation.

在shapelet生成过程之后，使用特定于样本的shapelets将原始时间序列转换为新的表示，其中每个属性是原始序列与其中一个shapelets之间的距离。 

 

 Adversarial Training Strategy.

如果我们在没有任何约束的情况下生成shapelets，那么shapelets可以是任意形状。因此，为了保持可解释性，我们需要约束shapelets，使其与真正的子序列相似。请注意，我们不期望shapelets应该与子序列完全相同，这将导致在shapelets转换后出现全零表示。我们只是弥合了所生成的shapelets分布与时间序列子序列之间的差距。

形式上，判别器D用一个两层卷积神经网络实现，并通过最小化以下损失函数进行训练

Diversity Regularization Term.

我们引入多样性正则化项来防止模型产生彼此相似的shapelets，缓解模态崩溃问题。具体地说，采用了shapelets相似矩阵的Frobenius范数。

Experiments 

ADSN is compared with 6 shapelet-based methods

 Comparison with State-of-the-art Methods

 We further compare ADSN with 11 state-of-the-art methods.

 

Visualization Analysis 

Dynamic shapelet generation.  

 ADSN可以根据不同的输入时间序列生成不同的shapelets，提高了建模的灵活性。为了探索动态shapelet生成的有效性，我们展示了LTS和ADSN在ECGFiveDays数据集上学习的shapelet。具体来说，我们从测试集中随机选择3个类1样本，并绘制这些样本和学习到的t波对应的shapelets。心电图的t波表示心脏放松并为下一次宫缩做准备的时期。所学到的波形对应的是与t波子序列距离最小的波形。

Adversarial training 

为了探究对抗性训练的有效性，我们首先研究了对抗性训练策略对ADSN生成的shapelets的影响

此外，我们还比较了LTS和ADSN产生的shapelets。如图5所示，我们从ItalyPower数据集中选择2个样本，绘制与样本距离最小的shapelet。我们称这个形状为距离最小的形状。 

总结：这篇论文的创新是很明显的。利用生成对抗网络找到shapelets，克服了传统机器学习中找shapelets的方式。实验的结果显示这种方法比传统方法在效果上要好很多。