对人工智能数学课高等数学线性微积分数学教程的学习笔记。主要用于快速回忆已学的数学知识点，不适合基础学习。博客园中同步更新。
f ′ ( x 0 ) = lim Δ x → 0 f ( x 0 + Δ x ) − f ( x 0 ) Δ x {f}'\left ( x_0 \right )= \lim\limits_{\Delta x\rightarrow 0}\frac{f( x_0+\Delta x )-f(x_0)}{\Delta x} f′(x0)=Δx→0limΔxf(x0+Δx)−f(x0)
max ( 0 , x ) \max(0,x) max(0,x)
f ′ ( t ) = lim Δ t → 0 Δ s Δ t f'(t)=\lim\limits_{\Delta t\rightarrow 0}\frac {\Delta s}{\Delta t} f′(t)=Δt→0limΔtΔs
( f ( g ( x ) ) ) ′ = f ′ ( g ) g ′ ( x ) (f(g(x)))'=f'(g)g'(x) (f(g(x)))′=f′(g)g′(x) 链式求导法则
求极值，backpropagation 激活函数
sigmoid函数： σ ( x ) = 1 1 + e − x \sigma(x)=\frac{1}{1+e^{-x}} σ(x)=1+e−x1 ; σ ′ ( x ) = [ 1 − σ ( x ) ] σ ( x ) \sigma'(x)=[1-\sigma(x)]\sigma(x) σ′(x)=[1−σ(x)]σ(x)
tanh (双曲正切)函数： tanh ( x ) = sinh x cosh x = e x − e − x e x + e − x \tanh(x)=\frac{\sinh x}{\cosh x}=\frac{e^x-e^{-x}}{e^x+e^{-x}} tanh(x)=coshxsinhx=ex+e−xex−e−x
tanh ′ ( x ) = 1 − tanh 2 ( x ) \tanh'(x)=1-\tanh^2(x) tanh′(x)=1−tanh2(x)
对导数再次求导： f ( n ) ( x ) f^{(n)}(x) f(n)(x)
导数大于0，单调增；导数小于0，单调减。
极值处函数的导数（若有）等于0，导数等于0处不一定是极值。
极值点是函数图像的某段子区间内上极大值或者极小值点的横坐标。极值点出现在函数的驻点（导数为0的点）或不可导点处（导函数不存在，也可以取得极值，此时驻点不存在）。
注：中国大陆数学界某些机构关于函数凹凸性定义和国外的定义是相反的。
国外定义中，凸函数是向下凸的（不同于我们传统意义上的"凸"）。
凹凸函数定义：
设函数 f f f 为定义在区间 I I I 上的函数，若对 ( a , b ) (a,b) (a,b) 上任意两点 x 1 x_1 x1 、 x 2 x_2 x2 ，恒有：
(1) f ( x 1 + x 2 2 ) > f ( x 1 ) + f ( x 2 ) 2 f(\frac{x_1+x_2}{2})>\frac{f(x_1)+f(x_2)}{2} f(2x1+x2)>2f(x1)+f(x2)，则称 f f f 为 ( a , b ) (a,b) (a,b) 上的凹函数或者上凸函数或者 A 型函数；
(2) f ( x 1 + x 2 2 ) < f ( x 1 ) + f ( x 2 ) 2 f(\frac{x_1+x_2}{2})<\frac{f(x_1)+f(x_2)}{2} f(2x1+x2)<2f(x1)+f(x2)，则称 f f f 为 ( a , b ) (a,b) (a,b) 上的凸函数或者下凸函数或者 V 型函数；
多项式函数来近似一个可导函数。
f
(
x
)
=
f
(
x
0
)
0
!
+
f
′
(
x
0
)
1
!
(
x
−
x
0
)
+
f
′
′
(
x
0
)
2
!
(
x
−
x
0
)
2
+
.
.
.
+
f
n
(
x
0
)
n
!
(
x
−
x
0
)
n
+
R
n
(
x
)
f(x)=\frac{f(x_0)}{0!}+\frac{f'(x_0)}{1!}(x-x_0)+\frac{f''(x_0)}{2!}(x-x_0)^2+...+\frac{f^{n}(x_0)}{n!}(x-x_0)^n + R_n(x)
f(x)=0!f(x0)+1!f′(x0)(x−x0)+2!f′′(x0)(x−x0)2+...+n!fn(x0)(x−x0)n+Rn(x)
f ( x ) = f ( x k ) + ( x − x k ) f ′ ( x k ) + 1 2 ( x − x k ) 2 f ′ ′ ( x k ) + o n f(x)=f(x_k)+(x-x_k)f'(x_k)+\frac{1}{2}(x-x_k)^2f''(x_k)+o^n f(x)=f(xk)+(x−xk)f′(xk)+21(x−xk)2f′′(xk)+on
机器学习中求极值用的，梯度下降法（保留泰勒展开一阶项），牛顿法（保留泰勒展开二阶项）。