论文笔记：Convolutional Image Captioning

为了不让卷积操作使用当前单词之后的单词，使用 masked convolutional 层来只针对“过去”的单词。

因此，推理从起始标记 < s > 开始，并使用前馈传递过来生成概率 p_1,w(y₁|$\varphi$, I) 。 然后，对 y₁～p_1,w(y₁|$\varphi$, I) 进行采样。 采样结束后， y₁ 反馈到前馈网络中，用来生成后续字 y₂ 。一旦到了句尾标记 < E >，或者到了句子设定的长度时，句子输出结束。

Learning：

与 RNN 训练类似，我们对过去的单词使用 ground-truth y^*< i，而不是使用生成的单词 y < i 。对于词概率 p_i,w(y_i|y^*w(y_i，y^*

3.3、Architecture

这里更详细地介绍 CNN 模型。

我们的处理步骤如下：（1）通过一个输入嵌入层； （2）与图像嵌入相结合； （3）由 CNN 模块进行处理； （4）通过一个输出嵌入（或分类）层产生输出概率分布。 下面将讨论上述四个步骤中的每一个步骤：

Input Embedding：

每个单词看作一个9221维的独热向量，我们使用 |Y|=9221 维（Y看作单词集，共9221个），然后将输入的单词嵌入到512维向量中。接下来我们需要拼接图像嵌入，作为 CNN 模块的输入。

Image Embedding：

图像 I 的特征通过 VGG16 网络的 FC7 层提取，然后经过 dropout、ReLU、线性层获得一个512维的嵌入。他和上面的 Input Embedding 共同作为 CNN 模块的输入。

CNN Module：

CNN 模块对输入和图像的嵌入向量共同进行操作。它包含三层 masked convolutions ，每一层卷积的 padding 都补0以保证最后输出也是512维。使用 GLU 激活函数，还是用了normalization, residual connections
和 dropout 来提升性能。Masked convolutions 的接受域为5。设置句长N（最大句子长度）最大为15。

Classification Layer：

我们通过线性层将从 CNN 模块输出的512维向量变为256维。 然后，我们通过一个全连接层将该向量上采样到9221维，再通过一个 softmax 得到输出字概率 p_i,w(y_i|I) 。

Training：

我们使用交叉熵损失在概率 p_i,w(y_i|y

3.3.1、Attention

我们还提出了一种注意机制。 我们形成一个维度为512的图像向量，并将其添加到每个层的单词嵌入中（图中用红色、绿色和蓝色箭头显示）。 我们为每个词计算单独的注意力参数和单独的关注向量。 在维度为 7×7×512 的VGG16 MaxPooled Conv-5特征上，我们预测了 7×7 的注意参数。我们在每个 Masked convolutions 层都使用注意力。

d_j 是第 j 个单词的 GLU 之后的输出，W 表示对 d_j 的线性变换，c_i 是从 VGG16 后得到的 7x7x512 的特征，让 a_ij 表示注意力参数。 得到注意力参数 a_ij 的计算为：

最后 a_ij 和 c_i 逐元素相乘得到注意力模块的输出：$\sum$_i a_ijc_i

另一位大佬的笔记