论文阅读笔记---Image Inpainting with Local and Global Refinement

• 论文链接：
  https://weizequan.github.io/TIP2022/Image_Inpainting_with_Local_and_Global_Refinement-compressed.pdf
• 代码链接：
  https://github.com/weizequan/LGNet

---

文章提出了一个关于感受野的三阶段修复框架。

1. 首先应用具有大感受野（覆盖整个图像）的粗修补网络来填充孔洞，从而可以完成主要结构和部分纹理细节；
2. 提出了具有不同大小感受野的局部和全局精细化网络，以改善修复结果。
3. 这两个子网络分别关注“全局修补”和“局部修补”，结合起来获得“整体修补”。

从网络设计的角度看，现有的基于深度学习的图像修复方法大致可以分为三类：一阶段、两阶段和渐进方法。

本文所提出的模型，是由粗到细的两阶段修复模型，与先前的两阶段修复模型不同的是：

（1）先前的都是通过引入扩展卷积或上下文注意，仅关注具有大感受野的编码器-解码器生成器。而本文强调了具有小感受野的网络对于图像修复的重要性。

（2）局部细化网络（具有小感受域）和全局细化网络（带有大感受域）的组合，这一新的设计理念可以处理不同的修复场景，包括局部结构、局部纹理细节、大结构和长距离纹理模式。另外，与先前的两阶段方法相比，全局细化网络（本文的第三阶段）中的注意力计算更为稳健，这是由于局部细化网络提供了更好的表示，先前的两阶段的方法在第二阶段中计算上下文注意力，其结果粗糙。

---

感受野是指路径连接到神经元的一组输入像素。感受野是深度神经网络的一个重要方面，在图像分类和语义分割中得到了更多关注。然而，它在图像修复和深度学习方面的研究较少。
感受野

感受野（Receptive Field），指的是神经网络中神经元“看到的”输入区域，在卷积神经网络中，feature map上某个元素的计算受输入图像上某个区域的影响，这个区域即该元素的感受野。

关于感受野详细介绍和计算方式：https://www.cnblogs.com/shine-lee/p/12069176.html

---

具有小感受野的网络对于修复局部结构和纹理更有效，而具有大感受野的神经网络对于修复长距离细节和大结构更有用。

Coarse Inpainting Network

粗修复网络（NetC）采用了带跳过连接的编码器-编码器架构。该网络由八个下采样和上采样操作组成。长跳跃连接用于将信息从编码器传播到解码器，以恢复在下采样期间丢失的信息

Local Refinement Network

局部细化网络是一个浅-深网络。局部细化网络（NetL）包括两个下采样操作、四个残差块和两个上采样操作。

Attention-based Global Refinement Network

我们引入了一种基于注意力的全局细化网络，通过大感受野和注意力方案，扩大神经元捕获信息的范围。

EXPERIMENTS

1. Experimental Settings

**Datasets: **

• CelebA-HQ
• Places2
• Paris StreetView dataset

Mask：基于QD-IMD（快速绘制不规则掩模数据集）的掩模

Comparison methods：

• PEN

• GConv

• MEDFE

• RFR

• MADF

CONCLUSIONS AND FUTURE WORK

结论

从感受野的角度，提出了一种三阶段生成网络用于图像修复。采用具有大感受域的粗修复网络来完成整个结构和部分纹理细节。设计了一个具有小感受野的局部细化网络，以消除与其局部区域密切相关的视觉伪影，并防止因填充内容太远和失败而产生的负面影响。提出了一种具有大感受野的基于注意力的全局细化网络，以利用全局信息和更稳定的注意力计算进一步提高修复结果的视觉质量。

展望

通过设计具有不同接收域的子网络来改进我们的网络架构，或者将局部和全局优化作为一个整体，以实现更高效的存储和计算。此外，注意力已经在许多现有的图像修复方法中普遍存在，然而，注意力计算对填充内容敏感，并且没有适当的监督。可以设计更精确和鲁棒的注意力计算机制。