SC-RoadDeepNet学习笔记（持续更新）

文章：SC-RoadDeepNet: A New Shape and Connectivity-Preserving Road Extraction Deep Learning-Based Network From Remote Sensing Data

（一种新的能保持形态和连通性的道路提取深度学习网络应用于遥感数据）

作者：Abolfazl Abdollahi

摘要

（1）当前道路提取方法中存在的弊端：侧重精度，忽视对道路形态和连通性的保留。
（2）阴影和建筑物遮挡等阻碍因素会导致提取出的道路存在不连续的现象。
（3）针对道路形态和连通性保留的问题提出一种新的网络，命名为：SC-RoadDeepNet
（4）网络核心模块：递归残差卷积神经网络、边界学习（BL），以及基于分割掩模及其（形态学）骨架交集的新度量，称为连接性保持中心线Dice（CP_clDice）
（5）评价：精度提升且能对网络完整性进行修补

关键词

深度学习；遥感；道路提取；道路形态和连通性保留

引言

引言写作思路

（1）高分辨率影像在道路提取中广泛应用→
（2）道路提取的重要意义→
（3）人工解译的局限性→
（4）自动化道路提取的难度→
（5）国内外研究现状→
（6）卷积神经网络的发展及在道路提取领域中的应用→
（7）当前研究的局限性：无法检测到被建筑物、阴影、树木或其他非道路特征遮挡的道路→提出本文方法——一种兼顾道路形态和连通性的网络（SC-RoadDeepNet）→
（8）模型概述：首先，网络使用递归残差卷积层（RRCL）、UNet和残差网络，其次，使用道路边界使道路语义特征更适合实际道路形状，解决不规则语义特征，并增强道路语义多边形的边界，利用每条道路的二值边缘地图来惩罚边界误分类并微调道路形状，最后，提供了一种保持连通性的中心线Dice（CP_clDice），这是一种基于分割掩模及其（形态学）骨架的交集的新度量，用于保持道路连通性并获得精确的分割。→
（9）数据集：来自于谷歌地图，空间分辨率为每像素0.21米，包括21个城市区域，面积约8平方公里，背景复杂。→
（10）文章安排→end

方法

RRCNN（Recurrent Residual Convolutional Neural Network）结构

RRCNN是在UNet基础上搭建的，可以借此通过作者的图2复习一下UNet结构，原始的UNet模型包括两个主要部分：卷积编码和解码单元。在模型的编码器和解码器部分，应用了基本卷积层，然后是ReLU激活。在编码部分，应用2×2最大池层进行下采样。卷积转置层用于在解码步骤期间对特征映射进行上采样。在UNet网络中，裁剪和复制方法用于裁剪和复制从编码器部分到解码器部分的特征图。

作者利用图3对比几种下采样的方式，第一个是传统的下采样方式，这类采样是按照逻辑顺序将卷积和激活函数堆叠；第二类为引入残差结构的下采样方式，相较于第一类，具备残差结构的下采样在结果输出前会将采样结果与输入图片叠加，叠加方式可分为通道维度和像素维度两种叠加方式；第三类则是在第二类基础上引入RCLs（Recurrent Convolutional Layers），姑且称之为递归卷积层。

CP_clDice增强联通性

图4展示了作者提出的CP_clDice技术,通过带标记的交叉骨架，提出了一个新的用于评价道路结构分割的连通性保持措施。首先，真值（MG）和预测值（MD）是考虑的两种标签，通过MG和MD，先提取出对应骨骼SG和SD。hi和gi是SG和SD的骨架点。


然后，计算MD中存在的SG的比例，并将此称为“连通性敏感度”，记为
同时计算对应精度
预测值同理，对应公示如下所示：

测量的指标CSEN（SG，MD）在预测中容易出现假阴性，而Cprec（SD，MG）容易出现假阳性，因此，CSEN（SG，MD）称为连接性的灵敏度，并将Cprec（SD，MG）称为其精度。将CP_clDice计算为两种测量的谐波平均值，因为希望最大化灵敏度和精度。

使用弱CP_clDice搭建弱骨架

提出了软骨架化，其中迭代最小-最大池被用作形态扩张和侵蚀的替代。图5和6直观地说明了骨架化的顺序步骤。初始迭代（见图5）骨架化并保持具有小半径的结构，直到后来的迭代骨架化并维持较厚的结构，形态学上聚焦的软骨架。算法1（软骨架化）中描述了计算中涉及的迭代过程，如图6所示。迭代由超参数表示，超参数必须等于或大于最大见证半径。

此参数因数据集而异。例如，在实验中，k=5，…，20，这对应于最大见证道路结构的像素半径。低k导致不完全骨架化。增加k值不会降低性能，但会延长计算时间。给定前面所述的软骨架化，可以使用CP_clDice作为可优化、实值和完全可微的度量。算法2（见图6）中描述了该实现，称为软CP_clDice。链接循环的数量决定了没有节点的单个连接前景组件的同伦类型。结果，没有检测到成对链接循环，并且参考像素不同伦相等。必须添加或删除实体前景的变形收缩骨架，以包括或省略这些额外循环。因此，需要添加已被适当检测的新像素。与其他损失（如交叉熵和Dice）不同，CP_clDice仅分析实体前景结构的变形收缩图。因此，断言CP_clDice需要新的正确检测像素的最小数量，以确保同伦相等。交叉熵或骰子只能确保这些行中的同伦等价性，前提是每个像素被正确分割。CP_clDice可以确保更广泛的像素组合的同伦性的等价性，这是一个直观吸引人的特性，因为它使CP_clDice对噪声分割标签具有强大的抵抗能力。

代价函数

以下方式将建议的软CP_clDice与软Dice（计算Dice损失的函数）集成，以保持连通性，同时获得正确的分段（目标），而不是学习骨架：

代码复现

循环残差神经网络(RRCNN)

循环神经网络是一类用于处理序列数据的神经网络，就像卷积神经网络是专门用于处理网格化数据（如一张图像）的神经网络，循环神经网络时专门用于处理序列 x^{(1)},…,x{(T)} 的神经网络。
同一个神经元在不同时刻的状态构成了RNN神经网络,简化版的RNN结构如下：

CP_clDice计算

代价函数