前面总结的多层感知机(MLP)和卷积神经网络(CNN)本质上都是前馈神经网络,对于一组输入,得到一组输出,不会考虑前后输入数据之间的相关性。今天总结的循环神经网络(Recurrent Neural Network, RNN) 则是专门用于处理序列输入的神经网络,从直观上来看,序列输入(例如文本)是前后文相关的,而“循环”说明上一次的输出会重新作为这一次的输入,再次参与到运算中去,这样RNN就能够记忆之前的信息。
由于RNN是和“时间”(或者说“输入顺序”)有关的网络模型,因此下图的网络结构示意图中,左边部分表示了实际的网络结构,右边的展开部分表示了模型基于时间的计算过程。
我们把RNN拆分成输入层、隐藏层和输出层。如果删掉循环连接(
W
W
W对应的连接),那么上图(左)就变成了一个单纯的MLP,加上循环连接后,意味着模型必须保存上一时刻隐藏层的输出,并且在这一时刻作为隐藏层输入的一部分参与计算。用数学公式表示为
o
t
=
g
(
V
⋅
s
t
)
s
t
=
f
(
U
⋅
x
t
+
W
⋅
s
t
−
1
)
。
(1)
公式中的符号在结构示意图中都可以找到。可以看出,隐藏层的输出
s
t
s_t
st与当前输入和之前的输入都有关。另外参数
U
,
V
,
W
U,V,W
U,V,W在任何时刻都是“共享”的。
BPTT(Back-Propagation Through Time)本质上也是梯度下降的方法,只是由于引入了时间因素,当我们用误差函数对参数求梯度时,还应当追溯历史数据。假设
t
t
t时刻误差函数为
L
t
(
o
t
,
y
t
)
L_t(o_t,y_t)
Lt(ot,yt),那么“当前总误差”
L
=
∑
i
=
1
t
L
i
,
(2)
L=\sum_{i=1}^{t}{L_i} \ , \tag 2
L=i=1∑tLi ,(2)
对于某个参数
W
W
W,通过求偏导
∂
L
∂
W
\frac{\partial L}{\partial W}
∂W∂L来对参数进行更新。
因为
V
V
V与时间无关,所以其偏导也比较简单;
U
,
W
U,W
U,W的偏导则相对复杂,举个栗子,根据公式(1),
L
2
L_2
L2对
W
W
W的偏导
∂
L
2
∂
W
=
∂
L
2
∂
s
2
∂
s
2
∂
W
+
∂
L
2
∂
s
2
∂
s
2
∂
s
1
∂
s
1
∂
W
,
(3)
\frac{\partial L_2}{\partial W}=\frac{\partial L_2}{\partial s_2}\frac{\partial s_2}{\partial W} + \frac{\partial L_2}{\partial s_2}\frac{\partial s_2}{\partial s_1}\frac{\partial s_1}{\partial W}, \tag 3
∂W∂L2=∂s2∂L2∂W∂s2+∂s2∂L2∂s1∂s2∂W∂s1,(3)
这是在时刻
2
2
2时,考虑时间序列的偏导结果,不难想象,对于
L
t
L_t
Lt,需要依次考虑
s
t
,
.
.
.
,
s
1
s_t,...,s_1
st,...,s1(因为他们都是
W
W
W的函数)对
W
W
W的偏导然后累加起来。而
∂
L
∂
W
\frac{\partial L}{\partial W}
∂W∂L又是对
∂
L
t
∂
W
\frac{\partial L_t}{\partial W}
∂W∂Lt的一层累加。好在
∂
L
∂
W
\frac{\partial L}{\partial W}
∂W∂L的总公式最后能够化简,这里不详细追究了。
公式(1)中的 g , f g,f g,f是激活函数,根据以前的经验, t t t长度的链式求导容易导致梯度消失或者梯度爆炸。
粗略看了一下LSTM和Transformer,目前暂时没用到这些,先挖个坑,以后有时间或者需要的时候再补~