【机器学习】梯度下降法与牛顿法【Ⅱ】牛顿法与修正牛顿法

参考了各路神仙的资料，包含自己的理解。
有任何的书写错误、排版错误、概念错误等，希望大家包含指正。

由于字数限制，分成三篇博客。
【机器学习】梯度下降法与牛顿法【Ⅰ】梯度下降法概述
【机器学习】梯度下降法与牛顿法【Ⅱ】牛顿法与修正牛顿法
【机器学习】梯度下降法与牛顿法【Ⅲ】拟牛顿法

2. 牛顿法

整体上来说，牛顿法是用二阶泰勒展开公式近似目标（损失）函数的局部，计算二阶展开式的极值点作为新的迭代点，在新的迭代点继续泰勒展开，重复该过程直至收敛。

2.1. 一元函数中的牛顿法

根据一元函数的泰勒展开公式，将函数在 x 0 x_0