神经网络深度学习（五）初始化

对于一些特殊的参数，我们可以根据经验用一个特殊的固定值来进行初始化。

比如偏置（Bias）通常用 0 来初始化，但是有时可以设置某些经验值以提高优化效率．在 LSTM 网络的遗忘门中，偏置通常初始化为 1 或2，使得时序上的梯度变大。对于使用ReLU的神经元，有时也可以将偏置设为0.01，使得 ReLU 神经元在训练初期更容易激活，从而获得一定的梯度来进行误差反向传播。

固定值初始化会导致网络对称现象。

三类常用的随机初始化方法：基于固定方差的参数初始化、基于方差缩放的参数初始化和正交初始化方法．

基于固定方差的参数初始化

基于方差缩放的参数初始化：

初始化根据每层的神经元数量来自动计算初始化参数方差。均值和方差不偏移

Xavier(Glorot) ：

权重与前一层中单元数平方根成反比。

输出和输出可以保持正态分布且方差相近

He初始化(Kaiming / msra初始化)

保证半数神经元失活的情况下对输出方差影响最小

当第l层使用relu激活函数时，通常有一半神经元输出为0，因此其分布的方差也接近使用恒等函数时的一半。

 其中Ml-1是 l-1层神经元个数

正交初始化

1、 用均值为0、方差为1的高斯分布初始化一个矩阵。
2、将这个矩阵用奇异值分解得到两个正交矩阵，并使用其中一个作为权重矩阵。

根据正交矩阵的性质，这个线性网络在信息的前向传播和反向传播中，都具有范数保持性，从而可以避免在训练时就出现梯度消失和梯度爆炸。