RIS 系列 Semantics-Aware Dynamic Localization and Refinement for Referring Image Segmentation 论文阅读笔记

一、Abstract
二、引言
三、相关工作
四、方法
五、实验
六、结论
附录

写在前面

又是一周周末，估计这周大家已经开学了。那就继续凎论文吧，早点毕业咯~

论文地址：Semantics-Aware Dynamic Localization and Refinement for Referring Image Segmentation
代码地址：原文暂未提供
收录于：AAAI 2023
Ps：2023 年每周一篇博文阅读笔记，主页更多干货，欢迎关注呀，期待 5 千粉丝有你的参与呦~

一、Abstract

指代图像分割 Referring image segmentation (RIS) 旨在产生高质量的 mask，现有的方法总是需要采用迭代学习的方法，依赖于 RNNs 或堆叠的注意力层来提炼视觉-语言特征。但基于 RNN 的方法依赖于特定的编码器，基于注意力的方法收益很低。于是本文引入渐进式地学习多模态特征的方法，核心 idea 是利用一个持续更新的 query 作为目标的表示，并在每个迭代步中加强与 qeury 相关的多模态特征而弱化不相关的特征，因此能够逐渐从定位中心转移到分割中心。提出的方法还可以直接插入一些 SOTA 的框架中，实验表明达到了 SOTA 的效果。

在这里插入图片描述

二、引言

首先介绍下指代图像分割 Referring image segmentation (RIS) 定义、应用，与传统语义/实例分割的区别。
目前有一些基于全卷积结构的方法，设计跨模态特征融合模块，在公共空间内对齐语言和视觉线索。然而语言和视觉输入可能会存在大量的冗余噪声，于是迭代学习方法出现了：在一些迭代次数内，逐渐地建立跨模态特征对齐和精炼，从而达到更准确的分割精度。
现有的 SOTA 方法通常通过循环神经网络 (RNNs) 或堆叠的注意力层来执行迭代学习，而基于 Transformer 的语言模型能够反复整合多尺度视觉语言特征，然而并未直接解决跨模态对齐。有一些方法引入级联分组注意力的方法，提炼整个图像的跨模态特征，但是缺乏先验信息来关注那些需要关注的区域，特别是目标间经常遮挡时的局部区域。
于是本文提出语言感知的动态定位和细化方法 semantics-aware dynamic localization and refinement (SADLR)，其中一个语言感知动态卷积模块，在更新的目标表示 (query) 上执行条件卷积，通过逐渐地加强目标信息从而抑制背景噪声。为辅助定位，首先用输入表达式的语言特征向量来初始化 query，然后在多模态特征图上预测一个卷积核。在接下来的每一步中，采用上一步池化的目标上下文来更新 query，并再一次执行动态卷积。
实验表明将本文的方法应用在三个 SOTA 方法 (LTS、VLT、LAVT) 时，效果很好。

三、相关工作

Referring image segmentation

之前基于 CNN 的方法关注于跨模态特征融合，最近一些方法利用 Transformer 结构来聚合视觉-语言表示。为了缓解跨模态上下文建模的一些困难，一些方法采用迭代式学习和跨模态特征精炼的设计，这些方法主要从视觉特征中捕捉多模态语言信息。本文的工作与 CGAN 最相关，利用级联的多头注意力层迭代优化整个图像的跨模态映射图。不同的是，CGAN 不寻求利用预测作为先验来帮助提炼更重要的区域。实验表明级联注意力模型对那些基于传统模型 (非 Transformer) 的结构更有效。下图是几种方法的对比图：

在这里插入图片描述
本文提出的方法相较于上面这些方法有两点优势：不依赖于特定语言编码器或多模态特征编码计划的选择；能够泛化到到大量的 SOTA 模型上。

Dynamic convolution

动态卷积的应用非常广泛，一开始在短范围天气预测中被提出，最近则是在一些基于 query 的目标检测方法中流行。在这些模型中，设置一组可学习的 embedding 作为潜在的目标特征，于是根据这些 queries，利用动态的权重进行定位和分类目标。相比之下，本文利用动态卷积来解决自然语言的分割问题。
在那些解决指代视频目标分割的方法中，动态卷积/过滤指的是预测出相同通道数量的分类权重，从而作用于特征图。相比之下，本文旨在生成一组信息丰富的特征图，突出与动态 query 有关的语义。

Multi-modal reasoning

多模态推理包含大尺度预训练、通用的 Transformer 模型、MDETR。

四、方法

4.1 总览

在这里插入图片描述

基础知识

如图 3 所示，由一幅图像和一句表达式组成输入。首先利用一个语言编码器，例如 BERT 或 RNN 从输入的表达式中提取一组语言特征 $L\in \mathbb{R}^{C_l\times N}$ ，其中 $C_l$ 表示通道数量， $N$ 为单词的个数。接着将输入的图像和语言特征 $L$ 送入一个多模态特征编码器网络中，确保语言特征和视觉特征共同在单个特征空间中，以至捕捉到对齐的信息。将此多模态特征图记为 $Y\in \mathbb{R}^{C\times H\times W}$ ，其中 $C$ 为通道的数量， $H$ 、 $W$ 分别是图像的高和宽。

语义感知动态卷积

在后续处理中，通过语义感知动态卷积模块来迭代地提炼多模态特征。此模块每一层都从输入特征向量中预测一个卷积核，然后对多模态特征图卷积。本文称这种生成核的特征向量为 “query”。

每次迭代的路线

假设在提炼过程中有 $n$ 次迭代，将动态 query 在每次迭代过程 $i\in \{1,2,\ldots,n\}$ 中表示为 $Q_i\in \mathbb{R}^{C}$ 。在每次迭代过程中，将 query $Q_i$ 和多模态特征图 $Y$ (来源于编码阶段) 送入语义感知动态卷积模块中，其中每个卷积核来源于 $Q_i$ 和 $Y$ 的卷积。语义感知动态卷积模块的输出为一组与 $Q_i$ 相关的特征图，表示为 $Z_i\in \mathbb{R}^{C\times H\times W}$ ，接下来使用 $1\times1$ 卷积将 $Z_i$ 投影到粗糙的得分图上，表示为 $R_i\in \mathbb{R}^{2\times H\times W}$ ，其中 $0$ 表示背景， $1$ 表示目标类别。在 $R_i$ 上应用 argmax 得到二值化后的目标 mask $M_i\in \mathbb{R}^{H\times W}$ 。

Query 初始化和迭代更新

在不同的迭代次数内，使用不同类型的 queries 来强调不同类型的特征。首先，在第一次迭代时，用句子特征向量 $S\in \mathbb{R}$ 来初始化 $Q_1$ 。其中通过对语言编码器的输出 $L$ 加个平均池化和通道维度的线性投影得到 $S$ 。由于 $Q_1$ 包含纯粹的语言信息，语义感知动态卷积模块的输出 $Z_1$ 就能突出指代定位的信息。在第 $i$ 次迭代时，利用 $M_{i-1}$ 得到新的 $Q_i$ ，而 $Q_{i-1}$ 的更新则源自 $Y$ 中池化后的目标特征向量 $O_{i-1}$ 。这一过程如下：

\begin{aligned} O_{i - 1} & = A v g P o o l (M_{i - 1}, Y) \\ Q_{i} & = Q_{i - 1} + O_{i - 1} \end{aligned}

O_{i - 1} Q_{i} = AvgPool (M_{i - 1}, Y) = Q_{i - 1} + O_{i - 1}

其中

\mathrm{AvgPool}

表示在

Y

的空间维度上计算特征向量的加权平均，而二值 mask

M_{i-1}

为权重图。这一 query 更新计划旨在逐渐地整合目标上下文信息到 query 中，从而在每次的迭代中使得

M_{i-1}

更加准确。

4.2 多模态特征编码

默认采用 LAVT 作为多模态特征编码网络，利用级联的视觉 Transformer 来嵌入视觉和语言信息。在视觉 Backbone 的每个阶段中，一个像素-单词注意力用于对齐每个空间位置上的语言特征和视觉特征，一个语言路径直接整合多模态线索到视觉 Backbone 的下个阶段。尽管如此，本文的方法不受限于特定的多模态特征编码网络。

4.3 语义感知动态卷积

在这里插入图片描述
如上图 4 所示，语义感知动态卷积模块由两层动态卷积组成。在每次 SADLR 迭代时，给定 query $Q_i$ ，首先应用线性投影层产生动态核 $K_i\in\mathbb{R}^{C\times C^{\prime}}$ ，其中 $C$ 和 $C^{\prime}$ 分别为输入和输出的通道数。之后输入的特征图 $Y$ 和动态核 $K_i$ 相乘，后面跟着一个层归一化和 ReLU 非线性激活。另外一个卷积核 $K_i^{\prime}\in\mathbb{R}^{C^{\prime}\times C}$ 通过第二个线性投影在 $Q_i$ 上产生。类似的，在前一层的输出和 $K^{\prime}_i$ 间进行矩阵乘法，后接一个层正则化及 ReLU 非线性激活层。

4.4 预测 Masks 和损失函数

通过上采样将粗糙的得分图 $R_i$ 调整到输入图像的分辨率上，再使用 argmax 沿着通道维度即可得到预测的 masks。损失函数如下：
$L=\lambda_{1}L_{1}+\lambda_{2}L_{2}+...+\lambda_{n}L_{n}$ 其中 $L_i$ 表示第 $i$ 次迭代的单个损失， $\lambda_i$ 为损失的平衡权重。每个损失采用平均 Dice 损失计算目标类别和背景类别。在推理过程中，最后一次的迭代 mask 用于预测。

五、实验

5.1 数据集和评估指标

数据集

RefCOCO、RefCOCO+、G-Ref。

评估指标

准确度 precision@K (P@K)，其中 K 表示 IoU阈值；mean IoU (mIoU)；overall IoU (oIoU)。

5.2 实施细节

大多数训练和推理设置与 LAVT 相同。BERT-base 为语言编码器，Swin-B 为 Backbone 网络。BERT 权重来源于 HuggingFace，Swin 初始化的权重来源于预训练在 ImageNet-22K 上的权重，剩余的参数随机初始化。端到端训练，AdamW 优化器，初始学习率 $5 e - 5$ ，权重衰减 $2$ ，“poly” 学习率计划。通道数 $C_l=3$ ， $C = 512$ 。默认的迭代次数 $n = 3$ ，于是权重超参数 $\lambda_1$ 、 $\lambda_2$ 、 $\lambda_3$ 分别设为 0.15，0.15，0.7（在确保整体权重为 1 时，给最后的迭代施以最大的权重值 (≥0.5)，剩下的平分）。训练 40 epochs，batch_size 32。输入图像尺寸 $480\times480$ ，句子长度 20。