深度学习基础 - 牛顿法

flyfish

关于优化算法

一个是一阶优化算法（first-order optimization algorithms），如梯度下降，使用梯度信息的优化算法。
另一个是二阶最优化算法（second-order optimization algo-rithms）如牛顿法，使用Hessian矩阵的优化算法。

之前介绍了梯度下降方法，此次介绍的是牛顿法
牛顿法 还有其他名字
牛顿迭代法
Newton’s method
牛顿-拉夫逊方法
Newton-Raphson method
本文用牛顿法来解决损失函数为 $f(x,y)=x^2+9y^2$的情况。

可视化 $f(x,y)=x^2+9y^2$

公式

$${\text{x}}_{t+1}\leftarrow {\text{x}}_t-\eta {\text{H}}_t^{-1}{\text{g}}_t$$

其中
$\eta$为 Learning Rate，
${\text{H}}_t={\nabla }^{2}f({\text{x}}_t)$（ 称为 Hessian）
${\text{g}}_t=\nabla f({\text{x}}_t)$（ 称为 Gradient）。

首先画出起始点 $(-4,2.5)$，如下图

算 $\text{g}$和 ${\text{H}}^{-1}$，分别是：

$\text{g}$是
g = [ ∂ f ( x , y ) ∂ x ∂ f ( x , y ) ∂ y ] = [ 2 x 18 y ] \textbf{g} = [∂f(x,y)∂x∂f(x,y)∂y]

= [2x18y] g=⎣ ⎡​∂x∂f(x,y)​∂y∂f(x,y)​​⎦ ⎤​=[2x18y​]
${\text{H}}^{-1}$是
$${\text{H}}^{-1}={\left[\begin{array}{cc}\frac{{\partial }^{2}f(x,y)}{\partial x^2}& \frac{{\partial }^{2}f(x,y)}{\partial xy}\\ \frac{{\partial }^{2}f(x,y)}{\partial xy}& \frac{{\partial }^{2}f(x,y)}{\partial y^2}\end{array}\right]}^{-1}={\left[\begin{array}{cc}2& 0\\ 0& 18\end{array}\right]}^{-1}=\left[\begin{array}{cc}\frac{1}{2}& 0\\ 0& \frac{1}{18}\end{array}\right]$$

假如 $\eta =0.5$，代入起始点 $(x_0,y_0)=(-4,2.5)$、 $\text{g}$和 ${\text{H}}^{-1}$到 牛顿法的公式： $$￥{\text{x}}_{t+1}\leftarrow {\text{x}}_t-\eta {\text{H}}_t^{-1}{\text{g}}_t$$
得：

[ x 1 y 1 ] = [ − 4 2.5 ] − 0.5 [ 1 2 0 0 1 18 ] [ 2 × ( − 4 ) 18 × 2.5 ] = [ − 2 1.25 ] [x1y1]

=[−42.5] - 0.5 [1200118] [2×(−4)18×2.5] =[−21.25] [x1​y1​​]=[−42.5​]−0.5[21​0​0181​​][2×(−4)18×2.5​]=[−21.25​]

更新图上的点， $(x_1,y_1)=(-2,1.25)$，如下图：

再继续，求 $(x_2,y_2)$的值，如下：

[ x 2 y 2 ] = [ − 2 1.25 ] − 0.5 [ 1 2 0 0 1 18 ] [ 2 × ( − 2 ) 18 × 1.25 ] = [ − 1 0.625 ] [x2y2]

= [−21.25] - 0.5 [1200118] [2×(−2)18×1.25] =[−10.625] [x2​y2​​]=[−21.25​]−0.5[21​0​0181​​][2×(−2)18×1.25​]=[−10.625​]

如此计算下去结果是

牛顿法的方向不需要一直折返，可以直接往最小值处走下去 ，整个过程动画展示
部分动画展示

完整动画展示

梯度下降法和牛顿法对比

可视化梯度下降
梯度下降背后的原理
采用梯度下降法的动画展示

可视化 $f(x,y)=x^2+9y^2$的代码

from PIL import Image 
from matplotlib import pyplot as plt
from mpl_toolkits.mplot3d import Axes3D   
import numpy as np

plt.figure()
ax = plt.axes(projection="3d")

x = np.arange(-5,5,0.1)
y = np.arange(-3,3,0.1)
X,Y = np.meshgrid(x,y)   
Z = X**2+9*Y**2

ax.plot_surface(X,Y,Z,alpha=0.6)
ax.contour(X,Y,Z,zdir="z",offset=-1,cmap="rainbow")
ax.set_xlabel("X") 
ax.set_xlim(-6,6)  
ax.set_ylabel("Y")
ax.set_ylim(-6,6)
ax.set_zlabel("Z")
plt.figure(figsize=(10, 5))
plt.show()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22