机器学习笔记：初始化0的问题

机器学习笔记：初始化0的问题
1 前言

假设我们有这样的两个模型：
- 第一个是逻辑回归
  - $a=sigmoid(w_1x_1+w_2x_2+b)$
- 第二个是神经网络
  - $a_1=sigmoid(w_{11}x_1+w_{21}x_2+b_1)$
  - $a_2=sigmoid(w_{12}x_1+w_{22}x_2+b_1)$
  - $a_3=sigmoid(w_{13}1_1+w_{23}a_2+b_3)$
他们的损失函数都是交叉熵

sigmoid函数的导数：

他们能不能用0初始化呢？

2 逻辑回归

$a=sigmoid(w_1x_1+w_2x_2+b)$

2.1 求偏导

2.1.1 结论

2.1.2 L对a的偏导

2.1.3 对w1，w2求偏导

w2同理

2.1.4 对b偏导

2.2 参数更新与分析

w1,w2,b的梯度和w1,w2,b无关，所以初始化成0之后没有影响

3 神经网络

3.1 偏导

a3的部分和前面逻辑回归是一样的

3.1.1 a1部分推导

3.1.1.1 对a1的偏导

3.1.1.2 对w11,w21,b1的推导

3.2 初始化为0

3.2.1 w初始化为0，b初始化为0

3.2.2w初始化为0，b随机初始化

3.3 w随机初始化，b初始化为0

前向传播过程中，a1,a2均不为0，反向传播的过程中各参数均可以更新

更新幅度也不一样

参考内容：神经网络权重为什么不能初始化为0？ (qq.com)
相关阅读:
家电生产线数控机床上下料长臂机器人组设计
 vim手册（vim cheatsheet）
ThreadLocal的简单理解
 Docker的常用命令||Docker是个流行的容器化平台，它允许你打包、分发和运行应用程序。
【es6】教程 class类
 Java版分布式微服务云开发架构 Spring Cloud+Spring Boot+Mybatis 电子招标采购系统功能清单
 【220】概率论与数理统计
 Virtual安装centos后，xshell连接centos 测试及遇到的坑
 134. 加油站
 测试工具（三）Git常用命令
原文地址：https://blog.csdn.net/qq_40206371/article/details/140289420

1 前言

2 逻辑回归

2.1 求偏导

2.1.1 结论

2.1.2 L对a的偏导

2.1.3 对w1，w2求偏导

2.1.4 对b偏导

2.2 参数更新与分析

3 神经网络

3.1 偏导

3.1.1 a1部分推导

3.1.1.1 对a1的偏导

3.1.1.2 对w11,w21,b1的推导

3.2 初始化为0

3.2.1 w初始化为0，b初始化为0

3.2.2w初始化为0，b随机初始化

3.3 w随机初始化，b初始化为0