9月30日计算机视觉基础学习笔记——优化算法

---

前言

本文为9月30日计算机视觉基础学习笔记——优化算法，分为四个章节：

• BGD、SGD、mini-batch GD；
• Momentum、NAG；
• Ada-grad、RMS-Prop、Ada-delta；
• Ada-m.

---

一、BGD、SGD、mini-batch GD

• Batch gradient descent:
  $$\begin{gathered} \theta =\theta -\eta \cdot {▽}_{\theta }J(\theta ) \\ {\theta }_{t+1}={\theta }_t+△{\theta }_t \end{gathered}$$
  其中， $\theta$ 是权重和偏置，$J$ 是损失函数。

• Stochastic gradient descent: 学习率会衰减：
  $$\begin{gathered} \theta =\theta -\eta \cdot {▽}_{\theta }J(\theta ,x^{(i)},y^{(i)}) \\ △{\theta }_t=\eta \cdot g_{t,i} \\ {\theta }_{t+1}={\theta }_t+△{\theta }_t \end{gathered}$$

都是凸函数的情况下，SGD 波动大，可能使梯度下降到更好的另一个局部最优解，但可能导致梯度一直在局部最优解附近波动。

• Mini-batch gradient descent:

$$\theta =\theta -\eta \cdot {▽}_{\theta }J(\theta ,x^{(i:i+n)},y^{(i:i+n)})batchsize=n$$

相对于 SGD 可减小参数更新的波动。

---

二、Momentum、NAG

• Momentum:
  $$\begin{gathered} v_t=\gamma v_{t-1}+\eta \cdot {▽}_{\theta }J(\theta ) \\ \theta =\theta -v_t \end{gathered}$$

$\gamma$ 通常为 0.9。

• Nesterov Accelerated Gradient:
  $$\begin{gathered} v_t=\gamma v_{t-1}+\eta \cdot {▽}_{\theta }J(\theta -\gamma v_{t-1}) \\ \theta =\theta -v_t \\ △{\theta }_t=-\eta \cdot g_{t,i} \\ {\theta }_{t+1}={\theta }_t+△{\theta }_t \end{gathered}$$
  与 momentum 的区别：计算梯度不同。NAG 先用当前的速度 v 更新一遍参数，再用更新的临时参数计算 loss，然后计算梯度。

---

三、Ada-grad、RMS-Prop、Ada-delta

• Adaptive grad:
  $$\begin{gathered} h\to h+\frac{\partial L}{\partial \text{W}}\odot \frac{\partial L}{\partial \text{W}} \\ \text{W}\to \text{W}-\eta \cdot \frac{1}{\sqrt{h}}\cdot \frac{\partial L}{\partial \text{W}} \\ {\theta }_{t+1,i}={\theta }_{t,i}-\frac{\eta }{\sqrt{G_{t,ii}}+ϵ}\cdot g_{t,i} \end{gathered}$$
  缺点：随着训练次数增加，h 越来越大，训练步长越来越小，模型还未收敛，参数就不更新了。

• Root Mean Square Propagation:
  $$\begin{gathered} E[g^2{]}_t=\gamma E[g^2{]}_{t-1}+(1-\gamma )g_t^2 \\ △{\theta }_t=-\frac{\eta }{E[g^2]+ϵ}{g}_t \end{gathered}$$

• Ada-delta:
  $$\begin{gathered} E[△{\theta }^2{]}_t=\eta E[△{\theta }^2{]}_{t-1}+(1-\gamma )△{\theta }_t^2 \\ RMS[△\theta {]}_t=\sqrt{E[△{\theta }^2{]}_t+ϵ} \\ △{\theta }_t=-\frac{RME[△\theta {]}_t}{RME[g{]}_t}{g}_t \end{gathered}$$

---

四、Ada-m

• Adaptive Moment Estimation:
  $$\begin{gathered} m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t \\ {v}_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)g_t^2 \\ {\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t} \\ {\hat{v}}_t=\frac{v_t}{1-{\beta }_2^t} \\ {\theta }_{t+1}={\theta }_t-\frac{\eta }{\sqrt{{\hat{v}}_t}+ϵ}{\hat{m}}_t \end{gathered}$$
  • m 用来稳定梯度：来自 momentum；
  • v 使梯度自适应化：来自 RMSProp.

---