黑塞矩阵-二阶偏导矩阵

黑塞矩阵

泰勒展开公式

设n是一个正整数。如果定义一个包含$a$的区间上的函数$f$在$a$点处$n+1$次可导，那么对于这个区间上的任意$x$，都有：
$$f(x)=f(a)+\frac{f^{\prime }(a)}{1!}(x-a)+\frac{f^{(2)}(a)}{2!}(x-a{)}^2+\cdots +\frac{f^{(n)}(a)}{n!}(x-a{)}^n+R_n(x)$$
其中的多项式称为函数在$a$处的泰勒展开式，剩余的$R_n(x)$是泰勒公式的余项，是$(x-a{)}^n$的高阶无穷小。

泰勒二阶展开

同理，二元函数$f(x_1,x_2)$在$x_0(x_{10},x_{20})$处的泰勒展开式为
$$f(x_1,x_2)=f(x_{10},x_{20})+f_{x_1}(x_{10},x_{20})\Delta x_1+f_{x_2}(x_{10},x_{20})\Delta x_2+\frac{1}{2}[f_{x_1{x}_1}(x_{10},x_{20})\Delta x_1^2+2f_{x_1{x}_2}(x_{10},x_{20})\Delta x_1\Delta x_2+f_{x_2{x}_2}(x_{10},x_{20})\Delta x_2^2]$$
其中$\Delta x_1=x_1-x_{10},\Delta x_2=x_2-x_{20},f_{x_1}=\frac{\partial f}{\partial x_1},f_{x_2}=\frac{\partial f}{\partial x_2},f_{x_1{x}_1}=\frac{{\partial }^{2}f}{\partial x_1^2},f_{x_2{x}_2}=\frac{{\partial }^{2}f}{\partial x_2^2},f_{x_1{x}_2}=\frac{{\partial }^{2}f}{\partial x_1\partial x_2}$

矩阵形式：
f ( X ) = f ( X 0 ) + ( f x 1 , f x 2 ) X 0 ( Δ x 1 Δ x 2 ) + 1 2 ( Δ x 1 , Δ x 2 ) ( f x 1 x 1 , f x 1 x 2 f x 2 x 1 , f x 2 x 2 ) X 0 ( Δ x 1 Δ x 2 ) + ⋯ = f ( X 0 ) + ∇ f ( X 0 ) T Δ X + 1 2 Δ X T G ( X 0 ) Δ X + ⋯

f(X)​=f(X0​)+(fx1​​,fx2​​)X0​​(Δx2​Δx1​​)+21​(Δx1​,Δx2​)(fx2​x1​​,fx2​x2​​fx1​x1​​,fx1​x2​​​)X0​​(Δx2​Δx1​​)+⋯=f(X0​)+∇f(X0​)TΔX+21​ΔXTG(X0​)ΔX+⋯​
$G(X_0)$是$f(x_1,x_2)$在$X_0$点处的黑塞矩阵。它是函数$f(x_1,x_2)$在$X_0$点处的二阶偏导所组成的方阵。

多元函数的黑塞矩阵

将二元函数的泰勒展开式推广到多元函数，则$f(x_1,x_2,\cdots ,x_n)$在$X_0$处的泰勒展开式的矩阵形式为：
$$f(X)=f(X_0)+\nabla f(X_0{)}^T\Delta X+\frac{1}{2}\Delta X^{T}G(X_0)\Delta X+\cdots$$
其中：
$\nabla f(X_0)={\left[f_{x_1},f_{x_2},\dots ,f_{x_n}\right]}_{X_0}^T$，是$f$在$X_0$的梯度

G ( X 0 ) = [ f x 1 x 1 , f x 1 x 2 , … , f x 1 x n f x 2 x 1 , f x 2 x 2 , … , f x 2 x n ⋮ f x n x 1 , f x n x 2 , … , f x n x n ] G(X_0)= \left[

\right] G(X0​)=⎣⎢⎢⎢⎡​fx1​x1​​,fx1​x2​​,…,fx1​xn​​fx2​x1​​,fx2​x2​​,…,fx2​xn​​⋮fxn​x1​​,fxn​x2​​,…,fxn​xn​​​⎦⎥⎥⎥⎤​为函数$f(X_0)$在$X_0$处的黑塞矩阵。黑塞矩阵是由目标函数$f(X_0)$在点$X$处的二阶偏导数组成的$n\times n$阶对称矩阵。

百度百科-黑塞矩阵