权值初始化的常用方法

为什么要进行权值初始化

深度神经网络经常会遇到梯度消失或者梯度爆炸现象。为什么会出现这种现象呢？熟悉链式求导法则的大家都知道，梯度是一些量的连乘，这些当中最重要的就是模型的输出。如果这时，模型的输出过大或者过小，将会导致梯度过大或过小（神经元死亡）。而控制模型输出的大小，跟模型的输入和模型的参数有关。所以从这个角度来看，我们是希望模型的输出是比较稳定的（也就是输出的方差比较稳定）。当然，也有其他方面的原因。比如说，如果模型的参数初始化刚好在模型最优解的附近，那么模型的优化将变得十分简单。

权值初始化的例子

def initialize_weights(self):
    for m in self.modules:
        # 对卷积层进行初始化
        if isinstance(m, nn.Conv2d):
            torch.nn.init.xavier_normal_(m.weight.data)
            if m.bias is not None:
                m.bias.data.zero_()
                
        # 对BN层进行初始化
        elif isinstance(m, nn.BatchNorm2d):
            m.weight.data.fill_(1)
            m.bias.data.zero_()
            
        # 对线性层进行初始化
        elif isinstance(m, nn.Linear):
            torch.nn.init.normal_(m.weight.data, 0, 0.01)
            m.bias.data.zero_()

从self.modules中