UniAD【异常检测：Reconstruction-based】【expand】

2022.6， NeurIPS 2022

背景

改变了异常检测任务的难度，即使用所有的类训练产生一个模型，而非单个类产生单个模型，取得还不错的效果。

意义：随着异常种类数量增加，单个类单个模型可能会消耗大量内存；不适合正常样本出现大量类内多样性的情况。

任务改变前后对比一下：

恒等映射（identical shortcut）:重构模型是在正常样本上训练的，但遇到异常同样会重构成功。

论证方式

1.测试三种网络架构MLP，CNN，Transformerde dxing

结论：

（1）transformer中恒等映射问题比MLP和CNN要轻一些：第一，transformer中loss不会完全降低到0；第二，transformer检测和定位性能下降幅度小于MLP和CNN。经数学分析和消融发现查询嵌入（query embedding）可以防止异常重构。设计一种分层查询解码器（LQD）（每层解码器增加查询嵌入，不是只在第一层。）

（2）充分的注意力增加了恒等映射的可能，全局注意力加入邻近屏蔽机制NMA（让像素点只能依靠更远处的像素来理解自己。）。

（3）采用特征抖动策略对输入特征进行干扰，重构的目标依然是未加噪声的特征，该模块将重构任务转化为去噪任务，网络通过去噪来理解正常样本并拟合分布。

2.搭建网络结构

（1）LQD（Layer-wise Query Embedding）

（2）NMA（Neighbor Masked Attention）

（3）特征抖动（Feature Jittering）