SARAS-Net: Scale and Relation Aware Siamese Network for Change Detection

SARAS-Net：用于变化检测的尺度和关系感知的孪生网络

AAAI
Chao-Peng Chen, Jun-Wei Hsieh, Ping-Yang Chen, Yi-Kuan Hsieh, Bor-Shiun Wang
2023

摘要：变化检测(CD)旨在找出不同时间两幅图像之间的差异，并输出变化图来表示该区域是否发生了变化。为了更好地生成变化图，许多最新的方法设计了一个具有强大判别能力的深度学习模型。然而，这些方法仍然获得较低的性能，因为它们忽略了空间信息和对象之间的比例变化，导致模糊或错误的边界。除此之外，他们还忽略了两个不同图像的交互信息。为了缓解这些问题，我们提出了我们的网络Sacale和关系感知暹罗网络(SARAS- Net)来处理这个问题。本文提出了三个模块，包括关系感知、尺度感知和交叉变换，以更有效地解决场景变化检测问题。为了验证我们的模型，我们测试了三个公共数据集，包括LEVIR-CD、WHU-CD和DS- FIN，并获得了SoTA准确性。我们的代码可在https://github.com/f64051041/SARAS-Net.获得

论文面对的问题：为了生成变化图，大多数传统方法集中于检测变化的像素并对它们进行分类。然而，由于一些噪声，包括不同的光强度和表面颜色，这些结果的准确度通常较低。因此，设计一个具有强大鉴别能力的良好网络来解决这些问题是至关重要的。

多尺度特征，两个图像之间的关系，以及注意力：

1. FCN (Jaturapitpornchai等人，2019年)使用U-net模型来检测建造新建筑物的区域。虽然它可以粗略地指示新建建筑物的位置，但是由于它忽略了空间信息和对象之间不同的尺度变化，所以它的性能很低。
2. SNUNet (Fang et al. 2022)侧重于处理多尺度特征，以通过ECAM(装配通道注意模块)处理对象的尺度变化。然而，这种ECAM只考虑通道注意力，而忽略像素之间的空间关系来生成变化图，因此也检测到许多具有季节性植被变化的意外区域。
3. 为了惩罚对未改变的特征对的注意并增加对改变的特征对的注意，一些方法(Liu et al . 2021a张等；Peng et al. 2021)使用注意机制，如通道注意和空间注意，来改善检测结果。然而，这些网络强调每个像素的通道重要性，以使提取器更有效；它仍然忽略了由两幅遥感图像产生的特征之间的交叉关系。
4. BIT (Chen、Qi和Shi 2022a)使用trans- former (Vaswani et al. 2017)通过一组语义标记对感兴趣的变化的高级概念进行编码，然后将它们与原始深层特征进行融合，以生成预期的二元变化图。尽管它应用了注意机制并且考虑了两个特征之间的关系，但是它没有考虑在特征相减之后执行一些卷积运算来微调变化图

它们都在特征距离之前或之后执行卷积。第一种类型的方法，例如FCN和SNUNet，最初连接两个输入图像，然后在连接的图上使用一些卷积运算来输出变化结果。第二类方法，如DASNet (Chen等人，2021)和BIT，首先对输入图像执行一些卷积运算，然后通过几个卷积层减去它们的特征图，以生成变化图。然而，在我们的实验中，我们发现在特征减法之前和之后执行所有的操作可以获得更多的信息并且导致更好的结果。

针对性方法：本文提出了一种新的网络，采用一些机制来解决上述方法的缺点。首先，我们的网络分别在特征减法之前和之后执行两种操作，在减法之前使用关系感知模块，在子牵引之后使用比例感知和交叉变换器模块。关系感知模块的目标是增强从两个输入图像提取的特征图之间的交互关系，以提高用于变化检测的特征的辨别能力。然后，在特征相减之后，尺度感知注意模块计算相减图上的跨尺度注意，以处理由多种尺寸的物体引起的场景变化问题。最后，交叉变换模块融合了多层次特征，旨在更加关注空间信息，易于分离前景和背景，从而减少虚警。

        提出了一个连体网络，它在两个输入图像上执行特征减法之前和之后的操作，以检测变化区域，并在遥感数据集上获得最先进的性能。

        提出了关系感知模块来提取特征，在减法之前提取的特征具有更多的信息交换，以提高它们对变化检测的辨别能力。

关系感知模块

CTB (CrossTransformer Block)

        提出了尺度感知模块，通过计算减影图上的交叉尺度注意力，使特征集中在更重要的通道上，从而更有效地检测由不同尺度的对象引起的变化。

        提出了交叉变换模块，通过自注意机制很容易地将改变的像素与未改变的像素分开。

达到效果

        

        提出了一种尺度和关系感知的变化检测连体网络，以在LEVIR-CD、WHU-CD和DSIFN-CD数据集上实现SoTA精度。更准确地说，我们的模型在这些数据集中获得了F1分数的显著改善。我们的方法可以解决大多数现有方法遇到的变化检测的关键问题。例如，关系感知和尺度感知模块可以重新解决由不同尺度的对象产生的边界噪声，并增强交互信息的特征。此外，我们使用交叉变换模块来融合不同尺度的特征，以获得更好的变化检测表示。除此之外，我们的主要贡献是提出了一个新的模型，它在特征减法之前和之后执行操作。通过实验证据，我们的模型结构已被证明是有用的。