梯度下降（机器学习）

 

第一步：生活中的例子

---

水受重力影响，会在当前位置，沿着最陡峭的方向流动，有时会形成瀑布（梯度下降）；

遇到坑洼地区，有可能形成湖泊而终止下山过程（得到局部最优解而非全局最优解）。

第二步：梯度下降的数学公式

---

 

梯度下降三要素：

1、当前点

2、方向

3、步长

梯度：函数当前位置的最快上升点。

下降：与导数相反的方向。

第三步：单变量函数的梯度下降

---

 

 

简单计算一下

Xn+1=1.2-0.3*2*1.2=0.48

Y=0.48 * 0.48=0.2304

---

Xn+1=0.48-0.3*2*1.2=0.192

Y=0.192*0.192=0.036864

 

第四步：一幅图简单了解梯度下降

---

第五步：学习率的选择

---

在公式表达时，学习率被表示为η。在代码里，我们把学习率定义为learning_rate，或者eta。针对上面的例子，试验不同的学习率对迭代情况的影响；