神经网络中的三大概念是：反向传播，梯度下降，损失函数。

目录

神经网络中的三大概念是：损失函数、反向传播、梯度下降。​​​​​​​

第一步：以简单比喻理解：损失函数、反向传播、梯度下降。

第二步：总结反向传播与梯度下降的基本工作原理和步骤如下：

初始化

正向计算

损失函数：为我们提供了计算损失的方法

反向传播：把损失值反向传给神经网络的各层，让各层都可以根据损失值反向调整权重

梯度下降：在损失函数基础上向着损失最小的点靠近，从而指引了网络权重调整的方向

重复正向计算过程：直到精度满足要求（比如损失函数值小于 0.001）

---

 

神经网络中的三大概念是：损失函数、反向传播、梯度下降。​​​​​​​

第一步：以简单比喻理解：损失函数、反向传播、梯度下降。

---

神经网络训练的思想：先 “猜” （初始化）得到一个结果（预测结果 a），观察它和训练集中含有的真实结果 y 之间的差距，然后调整策略，有依据地向正确的方向靠近。如此反复多次直到预测结果和真实结果接近时，就结束训练。

在神经网络训练中，“猜”叫做初始化，可以随机也可以根据以前的经验给定初始值。

目的：猜到乙确定的数字。

初始化：甲猜5。

前向计算：甲每次猜的新数字。

损失函数：乙在根据甲猜的数来和自己心中想的数做比较，得出“大了”或“小了”的结论。

反向传播：乙告诉甲“小了”、“大了”。

梯度下降：甲根据乙的反馈中的含义自行调整下一轮的猜测值。

第二步：总结反向传播与梯度下降的基本工作原理和步骤如下：

---

初始化

正向计算

损失函数：为我们提供了计算损失的方法

反向传播：把损失值反向传给神经网络的各层，让各层都可以根据损失值反向调整权重

梯度下降：在损失函数基础上向着损失最小的点靠近，从而指引了网络权重调整的方向

重复正向计算过程：直到精度满足要求（比如损失函数值小于 0.001）