【动手学深度学习】基础优化算法

1. 梯度下降

（1）梯度是什么？
梯度是使得这个函数值增加最快的方向；负梯度是函数值下降最快的方向（黄线的方向）。
（2）学习率（步长的超参数）
$\eta$：沿着这个方向每次走多远
超参数：在学习之前，人为指定的值
如何选择学习率？

学习率太小：计算梯度是一件很“贵”的事情，学习率太小会导致网络收敛过慢，要经过非常多的步骤
学习率太大：会导致网络无法收敛，一直在震荡，并没有真正地在下降

2. 小批量随机梯度下降（最常见）

梯度下降中，每次计算梯度，要对损失函数求导，而损失函数是对所有样本的平均损失。这意味着求一次梯度，要计算整个样本，计算代价太大。
近似的办法：小批量随机一度下降

3. 总结

1. 梯度下降通过不断沿着梯度的反方向更新参数求解
2. 小批量随机梯度下降是深度学习默认的求解算法
3. 两个重要的超参数是批量大小和学习率