这数一全部内容太多了,放在一篇文章里的话,要编辑就很困难,就把线代和概率放在这篇文章里吧。
把一组线性无关的向量组转化为一组两两正交且规范的向量组的过程,称为施密特正交化。
设 α 1 , α 2 , ⋯ , α n \pmb{\alpha_1,\alpha_2,\cdots,\alpha_n} α1,α2,⋯,αn 线性无关,其正交化过程为:
(1)正交化
l
e
t
β
1
=
α
1
,
β
2
=
α
2
−
(
α
2
,
β
1
)
(
β
1
,
β
1
)
β
1
β
n
=
α
n
−
(
α
n
,
β
1
)
(
β
1
,
β
1
)
β
1
−
(
α
n
,
β
2
)
(
β
2
,
β
2
)
β
2
−
⋯
−
(
α
n
,
β
n
−
1
)
(
β
n
−
1
,
β
n
−
1
)
β
n
−
1
let\space \pmb{\beta_1=\alpha_1,\beta_2=\alpha_2-\frac{(\alpha_2,\beta_1)}{(\beta_1,\beta_1)}\beta_1}\\ \pmb{\beta_n=\alpha_n-\frac{(\alpha_n,\beta_1)}{(\beta_1,\beta_1)}\beta_1-\frac{(\alpha_n,\beta_2)}{(\beta_2,\beta_2)}\beta_2}-\cdots-\pmb{\frac{(\alpha_n,\beta_{n-1})}{(\beta_{n-1},\beta_{n-1})}\beta_{n-1}}
let β1=α1,β2=α2−(β1,β1)(α2,β1)β1βn=αn−(β1,β1)(αn,β1)β1−(β2,β2)(αn,β2)β2−⋯−(βn−1,βn−1)(αn,βn−1)βn−1 则向量组
β
1
,
β
2
,
⋯
,
β
n
\pmb{\beta_1,\beta_2,\cdots,\beta_n}
β1,β2,⋯,βn 两两正交。
(2)规范化。各自除以各自的模即可。
首先是行列式,有以下三个结论:
(1)
∣
A
1
A
2
⋱
A
n
∣
=
∣
A
1
∣
⋅
∣
A
2
∣
⋯
∣
A
n
∣
.
(2)
∣
A
C
O
B
∣
=
∣
A
O
O
B
∣
=
∣
A
∣
⋅
∣
B
∣
.
(3)设
A
,
B
\pmb{A,B}
A,B 分别为
m
,
n
m,n
m,n 阶方阵,则有
∣
O
A
B
O
∣
=
(
−
1
)
m
n
∣
A
∣
⋅
∣
B
∣
.
然后是转置的结论:
[
A
B
C
D
]
T
=
[
A
T
C
T
B
T
D
T
]
.
接着是逆矩阵的结论:
[
A
O
O
B
]
−
1
=
[
A
−
1
O
O
B
−
1
]
,
[
O
A
B
O
]
−
1
=
[
O
B
−
1
A
−
1
O
]
.
对可逆矩阵,转置、逆和伴随可以随意交换顺序,即 ( A − 1 ) T = ( A T ) − 1 , ( A ∗ ) − 1 = ( A − 1 ) ∗ , ( A ∗ ) T = ( A T ) ∗ . (\pmb{A}^{-1})^T=(\pmb{A}^{T})^{-1},(\pmb{A}^{*})^{-1}=(\pmb{A}^{-1})^{*},(\pmb{A}^{*})^T=(\pmb{A}^{T})^*. (A−1)T=(AT)−1,(A∗)−1=(A−1)∗,(A∗)T=(AT)∗. 且两个矩阵相乘后的这三种运算均要调换位置,即 ( A B ) T = B T A T , ( A B ) − 1 = B − 1 A − 1 , ( A B ) ∗ = B ∗ A ∗ (\pmb{A}\pmb{B})^T=\pmb{B}^T\pmb{A}^T,(\pmb{A}\pmb{B})^{-1}=\pmb{B}^{-1}\pmb{A}^{-1},(\pmb{A}\pmb{B})^*=\pmb{B}^*\pmb{A}^* (AB)T=BTAT,(AB)−1=B−1A−1,(AB)∗=B∗A∗
矩阵的秩的定义:
设 A \pmb{A} A 是 m × n m\times n m×n 矩阵,从中任取 r r r 行 r r r 列,元素按照原有次序构成的 r r r 阶行列式,称为矩阵 A \pmb{A} A 的 r r r 阶子式。若 矩阵 A \pmb{A} A 中至少有一个 r r r 阶子式不为零,但所有 r + 1 r+1 r+1 阶子式(可能没有)均为零,称 r r r 为矩阵 A \pmb{A} A 的秩。
向量组秩的定义:
设 α 1 , α 2 , ⋯ , α n \pmb{\alpha_1,\alpha_2,\cdots,\alpha_n} α1,α2,⋯,αn 为一组向量,若其存在 r r r 个向量线性无关,且任意 r + 1 r+1 r+1 个向量(不一定有)一定线性相关,称这 r r r 个线性无关的向量构成的向量组为 α 1 , α 2 , ⋯ , α n \pmb{\alpha_1,\alpha_2,\cdots,\alpha_n} α1,α2,⋯,αn 的极大线性无关组,极大线性无关组所含向量的个数,称为向量组的秩。
矩阵的秩有如下性质:
r
(
A
)
=
r
(
A
T
)
=
r
(
A
A
T
)
=
r
(
A
T
A
)
.
[
r
(
A
)
+
r
(
B
)
−
n
]
≤
r
(
A
+
B
)
≤
r
(
A
)
+
r
(
B
)
.
r
(
A
B
)
≤
min
{
r
(
A
)
,
r
(
B
)
}
.
i
f
A
B
=
O
,
t
h
e
n
,
r
(
A
)
+
r
(
B
)
≤
n
.
i
f
∣
P
∣
,
∣
Q
∣
≠
0
,
r
(
A
)
=
r
(
P
A
)
=
r
(
A
Q
)
=
r
(
P
A
Q
)
.
r
(
A
∗
)
=
{
n
r
(
A
)
=
n
1
r
(
A
)
=
n
−
1
0
r
(
A
)
<
n
−
1
,
(
n
≥
2
)
.
l
e
t
A
m
×
n
,
B
m
×
s
,
t
h
e
n
,
max
{
r
(
A
)
,
r
(
A
)
}
≤
r
(
A
⋮
B
)
≤
r
(
A
)
+
r
(
B
)
.
α
,
β
≠
0
,
r
(
A
)
=
1
⟺
A
=
α
β
T
.
r
(
A
O
O
B
)
=
r
(
A
)
+
r
(
B
)
.
r(\pmb{A})=r(\pmb{A}^T)=r(\pmb{A}\pmb{A}^T)=r(\pmb{A}^T\pmb{A}).\\ [r(\pmb{A})+r(\pmb{B})-n]\leq r(\pmb{A}+\pmb{B})\leq r(\pmb{A})+r(\pmb{B}). \\ r(\pmb{AB})\leq \min\{r(\pmb{A}),r(\pmb{B})\}. \\ if\space \pmb{AB=O},then\space ,r(\pmb{A})+r(\pmb{B})\leq n. \\ if\space |\pmb{P}|,|\pmb{Q}|\ne0,r(\pmb{A})=r(\pmb{PA})=r(\pmb{AQ})=r(\pmb{PAQ}).\\ r(\pmb{A}^*)=
首先是定义, A α = λ α \pmb{A\alpha}=\lambda\pmb{\alpha} Aα=λα 和特征方程 ∣ A − λ E ∣ = 0 |\pmb{A}-\lambda\pmb{E}|=0 ∣A−λE∣=0,有时候可发挥奇效。
然后是特征值的两个性质:
{
∣
A
∣
=
λ
1
λ
2
⋯
λ
n
,
t
r
(
A
)
=
λ
1
+
λ
2
+
⋯
+
λ
n
出现向量乘以向量转置,除了想到它的秩不大于 1 外,还有一个重要性质是关于迹的,根据定义,有 t r ( α β T ) = α T β tr(\pmb{\alpha\beta}^T)=\pmb{\alpha^T\beta} tr(αβT)=αTβ ,把分量形式写出来就知道了。或者利用性质, t r ( A B ) = t r ( B A ) tr(\pmb{AB})=tr(\pmb{BA}) tr(AB)=tr(BA) 。
转置后的矩阵与原矩阵尽管特征向量相同(特征多项式相同),但特征向量变化了,因为特征方程对应的齐次线性方程组不再是同解方程组。
下面是特征值和特征向量的性质:
正交矩阵的转置和逆矩阵相同,行列式为 ± 1 \pm1 ±1 ,特征值也为 1 或 -1 。
一般矩阵的相似对角化过程:根据特征方程求特征值,再求齐次线性方程组的基础解系,若有 n n n 个,则可以相似对角化,否则不可相似对角化,这些基础解系拼成的矩阵,就是 P − 1 A P \pmb{P}^{-1}\pmb{A}\pmb{P} P−1AP 的 P \pmb{P} P ;对于实对称矩阵的相似对角化,如果只是求一般的 A \pmb{A} A ,则步骤和前面一样,而如果要求那个正交矩阵,则需要对求出的特征向量进行施密特正交化和规范化,再拼成正交矩阵 Q \pmb{Q} Q 。
两个事件独立: P ( A ) P ( B ) = P ( A B ) P(A)P(B)=P(AB) P(A)P(B)=P(AB) ,三个事件独立,除了要满足满足两两独立外,还要满足 P ( A B C ) = P ( A ) P ( B ) P ( C ) P(ABC)=P(A)P(B)P(C) P(ABC)=P(A)P(B)P(C) 。
注意分布函数是有四个性质的,可以用来判断是否是分布函数:
于是我们有结论:两个相互独立的连续型随机变量,它们的分布函数相乘必定是某个变量的分布函数。
概率密度函数具有以下性质:
概率密度可以看作是分布函数的导数,因此如果出现这两个在一起,可联想到高数中的微积分,如: [ F 1 ( x ) F 2 ( x ) ] ′ = f 1 ( x ) F 2 ( x ) + F 1 ( x ) f 2 ( x ) ; [ F ( x ) 2 ] ′ = 2 F ( x ) f ( x ) . [F_1(x)F_2(x)]'=f_1(x)F_2(x)+F_1(x)f_2(x);[F(x)^2]'=2F(x)f(x). [F1(x)F2(x)]′=f1(x)F2(x)+F1(x)f2(x);[F(x)2]′=2F(x)f(x).
{
分布
‾
分布律或概率密度
‾
数学期望
‾
方差
‾
(
0
−
1
)
分布
P
{
X
=
k
}
=
p
k
(
1
−
p
)
1
−
k
,
k
=
0
,
1
p
p
(
1
−
p
)
二项分布
P
{
X
=
k
}
=
C
n
k
p
k
(
1
−
p
)
n
−
k
,
k
=
0
⋯
n
n
p
n
p
(
1
−
p
)
泊松分布
P
{
X
=
k
}
=
λ
k
k
!
e
−
λ
,
k
=
0
,
1
,
2
,
⋯
λ
λ
几何分布
P
{
X
=
k
}
=
(
1
−
p
)
k
−
1
p
,
k
=
1
,
2
,
⋯
1
/
p
(
1
−
p
)
/
p
2
期望的性质: E ( C ) = C , E ( X + Y ) = E ( X ) + E ( Y ) E(C)=C,E(X+Y)=E(X)+E(Y) E(C)=C,E(X+Y)=E(X)+E(Y) ; X , Y X,Y X,Y 独立情况下: E ( X Y ) = E ( X ) E ( Y ) E(XY)=E(X)E(Y) E(XY)=E(X)E(Y)
方差的定义: D ( X ) = E { [ X − E ( X ) ] 2 } D(X)=E\{[X-E(X)]^2\} D(X)=E{[X−E(X)]2} ,因而对于连续型随机变量(概率密度为 f ( x ) f(x) f(x) ),可以这样求: D ( X ) = ∫ − ∞ + ∞ [ x − E ( X ) ] 2 f ( x ) d x . D(X)=\int_{-\infty}^{+\infty}[x-E(X)]^2f(x)dx. D(X)=∫−∞+∞[x−E(X)]2f(x)dx. 较简便的计算公式为: D ( X ) = E ( X 2 ) − [ E ( X ) ] 2 D(X)=E(X^2)-[E(X)]^2 D(X)=E(X2)−[E(X)]2 ,平方的期望减去期望的平方,方差本质还是期望,因此放在“的”后面。
方差性质: D ( a X + b ) = a 2 D ( X ) , D ( X ± Y ) = D ( X ) + D ( Y ) ± 2 C o v ( X , Y ) . D(aX+b)=a^2D(X),D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y). D(aX+b)=a2D(X),D(X±Y)=D(X)+D(Y)±2Cov(X,Y).
任意两个随机变量相加的期望等于各自期望相加,而方差只有在独立的情况,才会等于各自方差相加,不独立的话需要加上两倍协方差。
协方差定义: C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\} Cov(X,Y)=E{[X−E(X)][Y−E(Y)]} ,相关系数公式: ρ X Y = C o v ( X , Y ) D ( X ) D ( Y ) \rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}} ρXY=D(X)D(Y)Cov(X,Y) 相关系数为 -1 的充要条件是 P { Y = a X + b } = 1 ( a < 0 ) P\{Y=aX+b\}=1(a<0) P{Y=aX+b}=1(a<0) ;相关系数为 1 的充要条件为 P { Y = a X + b } = 1 ( a > 0 ) P\{Y=aX+b\}=1(a>0) P{Y=aX+b}=1(a>0) ;相关系数为 0 的充要条件为 E ( X Y ) = E ( X ) E ( Y ) E(XY)=E(X)E(Y) E(XY)=E(X)E(Y) 。
常用协方差计算公式为 E ( X Y ) − E ( X ) E ( Y ) E(XY)-E(X)E(Y) E(XY)−E(X)E(Y) ,同样,协方差本质还是期望,因此时相乘的期望减去期望相乘。
协方差的性质: C o v ( X , X ) = D ( X ) , C o v ( X , Y ) = C o v ( Y , X ) , C o v ( X 1 ± X 2 , Y ) = C o v ( X 1 , Y ) ± C o v ( X 2 , Y ) , C o v ( a X , b Y ) = a b C o v ( X , Y ) Cov(X,X)=D(X),Cov(X,Y)=Cov(Y,X),Cov(X_1\pm X_2,Y)=Cov(X_1,Y)\pm Cov(X_2,Y),Cov(aX,bY)=abCov(X,Y) Cov(X,X)=D(X),Cov(X,Y)=Cov(Y,X),Cov(X1±X2,Y)=Cov(X1,Y)±Cov(X2,Y),Cov(aX,bY)=abCov(X,Y) 。
切比雪夫不等式:设 X X X 是一个随机变量,且有有限方差,则对任意的 ϵ > 0 \epsilon>0 ϵ>0 ,有 P { ∣ X − E ( X ) ∣ ≥ ϵ } ≤ D ( X ) ϵ 2 P\{|X-E(X)|\geq\epsilon\}\leq\frac{D(X)}{\epsilon^2} P{∣X−E(X)∣≥ϵ}≤ϵ2D(X) 依概率收敛定义:设 { X n } \{X_n\} {Xn} 为随机变量序列, a a a 为常数,若对任意的 ϵ > 0 \epsilon>0 ϵ>0 ,有 lim n → ∞ P { ∣ X n − a ∣ < ϵ } = 1 , \lim_{n\to\infty}P\{|X_n-a|<\epsilon\}=1, n→∞limP{∣Xn−a∣<ϵ}=1, 称随机变量序列 { X n } \{X_n\} {Xn} 依概率收敛于 a a a 。
切比雪夫大数定律:设随机变量 X 1 , X 2 , ⋯ , X n , ⋯ X_1,X_2,\cdots,X_n,\cdots X1,X2,⋯,Xn,⋯ 独立,具有数学期望 E ( X i ) = μ , i = 1 , 2 , ⋯ E(X_i)=\mu,i=1,2,\cdots E(Xi)=μ,i=1,2,⋯ 和方差 D ( X i ) D(X_i) D(Xi) ,且存在常数 C > 0 C>0 C>0 ,使得 D ( X i ) ≤ C D(X_i)\leq C D(Xi)≤C ,则对于任意 ϵ > 0 \epsilon>0 ϵ>0 ,有 lim n → ∞ P { ∣ 1 n ∑ i = 1 n X i − 1 n ∑ i = 1 n E ( X i ) ∣ < ϵ } = 1 \lim_{n\to\infty}P\bigg\{\bigg|\frac{1}{n}\sum_{i=1}^nX_i-\frac{1}{n}\sum_{i=1}^nE(X_i)\bigg| <\epsilon \bigg\}=1 n→∞limP{ n1i=1∑nXi−n1i=1∑nE(Xi) <ϵ}=1 伯努利大数定律:设随机变量 X n ∼ B ( n , p ) , n = 1 , 2 , ⋯ X_n\sim B(n,p),n=1,2,\cdots Xn∼B(n,p),n=1,2,⋯ ,则对于任意的 ϵ > 0 \epsilon>0 ϵ>0 ,有 lim n → ∞ P { ∣ X n n − p ∣ < ϵ } = 1 \lim_{n\to\infty}P\bigg\{\bigg|\frac{X_n}{n}-p\bigg| <\epsilon \bigg\}=1 n→∞limP{ nXn−p <ϵ}=1
辛钦大数定律:设随机变量 X 1 , X 2 , ⋯ , X n , ⋯ X_1,X_2,\cdots,X_n,\cdots X1,X2,⋯,Xn,⋯ 独立同分布,具有数学期望 E ( X i ) = μ , i = 1 , 2 , ⋯ E(X_i)=\mu,i=1,2,\cdots E(Xi)=μ,i=1,2,⋯ ,则对于任意 ϵ > 0 \epsilon>0 ϵ>0 ,有 lim n → ∞ P { ∣ 1 n ∑ i = 1 n X i − μ ∣ < ϵ } = 1 \lim_{n\to\infty}P\bigg\{\bigg|\frac{1}{n}\sum_{i=1}^nX_i-\mu\bigg| <\epsilon \bigg\}=1 n→∞limP{ n1i=1∑nXi−μ <ϵ}=1
统计量总结为:随机变量的函数,但是不含未知参数。因此下次碰见未知参数的,留一个心眼。
样本方差注意是 n − 1 n-1 n−1 ,且有一个重要的变形: S 2 = 1 n − 1 ∑ i = 1 n ( X i − X ‾ ) 2 = 1 n − 1 ( ∑ i = 1 n X i 2 − n X ‾ 2 ) S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\overline{X})^2=\frac{1}{n-1}\bigg(\sum_{i=1}^nX_i^2-n\overline{X}^2\bigg) S2=n−11i=1∑n(Xi−X)2=n−11(i=1∑nXi2−nX2) k k k 阶原点矩是 X i k X_i^k Xik 求和除以 n n n , k k k 阶中心距是 ( X i − X ‾ ) k (X_i-\overline{X})^k (Xi−X)k 求和除以 n n n 。
χ 2 \chi^2 χ2 分布:设 X 1 , X 2 , ⋯ , X n X_1,X_2,\cdots,X_n X1,X2,⋯,Xn 为来自总体 N ( 0 , 1 ) N(0,1) N(0,1) 的样本,则统计量 χ 2 = X 1 2 + X 2 2 + ⋯ + X n 2 \chi^2=X_1^2+X_2^2+\cdots+X_n^2 χ2=X12+X22+⋯+Xn2 服从自由度为 n n n 的 χ 2 \chi^2 χ2 分布,记为 χ 2 ∼ χ 2 ( n ) \chi^2\sim \chi^2(n) χ2∼χ2(n) 。 E ( χ 2 ) = n , D ( χ 2 ) = 2 n E(\chi^2)=n,D(\chi^2)=2n E(χ2)=n,D(χ2)=2n 。
设 χ 1 2 ∼ χ 2 ( n 1 ) , χ 2 2 ∼ χ 2 ( n 2 ) \chi^2_1\sim\chi^2(n_1),\chi^2_2\sim\chi^2(n_2) χ12∼χ2(n1),χ22∼χ2(n2) ,并且两者相互独立,则 χ 1 2 + χ 2 2 ∼ χ 2 ( n 1 + n 2 ) \chi^2_1+\chi_2^2\sim\chi^2(n_1+n_2) χ12+χ22∼χ2(n1+n2) 。
t t t 分布:设 X ∼ N ( 0 , 1 ) , Y ∼ χ 2 ( n ) X\sim N(0,1),Y\sim\chi^2(n) X∼N(0,1),Y∼χ2(n) ,且两者相互独立,则称随机变量 t = X / ( Y / n ) t=X/(\sqrt{Y/n}) t=X/(Y/n) ,服从自由度为 n n n 的 t t t 分布。 n n n 足够大时, t t t 分布近似于正态分布。 t t t 分布的概率密度图形关于 y y y 轴对称且上分位点满足 t α ( n ) = − t 1 − α ( n ) t_\alpha(n)=-t_{1-\alpha}(n) tα(n)=−t1−α(n) 。
F F F 分布: 设 U ∼ χ 2 ( n 1 ) , V ∼ χ 2 ( n 2 ) U\sim\chi^2(n_1),V\sim\chi^2(n_2) U∼χ2(n1),V∼χ2(n2) ,且两者相互独立,则称随机变量 F = ( U / n 1 ) / ( V / n 2 ) F=(U/n_1)/(V/n_2) F=(U/n1)/(V/n2) 服从自由度为 ( n 1 , n 2 ) (n_1,n_2) (n1,n2) 的 F F F 分布,记为 F ∼ F ( n 1 , n 2 ) F\sim F(n_1,n_2) F∼F(n1,n2) 。由定义可知, 1 / F ∼ F ( n 2 , n 1 ) 1/F\sim F(n_2,n_1) 1/F∼F(n2,n1) 。 F F F 分布的 α \alpha α 分位点满足 F α ( n 1 , n 2 ) = 1 / F 1 − α ( n 2 , n 1 ) F_\alpha(n_1,n_2)=1/F_{1-\alpha}(n_2,n_1) Fα(n1,n2)=1/F1−α(n2,n1) 。
正态总体的抽样分布:设总体 X ∼ N ( μ , σ 2 ) X\sim N(\mu,\sigma^2) X∼N(μ,σ2) , X 1 , X 2 , ⋯ , X n X_1,X_2,\cdots,X_n X1,X2,⋯,Xn 是来自 X X X 的样本, X ‾ = ( ∑ X i ) / n , S 2 = [ ∑ ( X i − X ‾ ) 2 ] / ( n − 1 ) \overline{X}=(\sum X_i)/n,S^2=[\sum(X_i-\overline{X})^2]/(n-1) X=(∑Xi)/n,S2=[∑(Xi−X)2]/(n−1) ,则 X ‾ ∼ N ( μ , σ 2 n ) , ( n − 1 ) S 2 σ 2 ∼ χ 2 ( n − 1 ) , X ‾ − μ S / n ∼ t ( n − 1 ) \overline{X}\sim N\bigg(\mu,\frac{\sigma^2}{n}\bigg),\frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1),\frac{\overline{X}-\mu}{S/\sqrt{n}}\sim t(n-1) X∼N(μ,nσ2),σ2(n−1)S2∼χ2(n−1),S/nX−μ∼t(n−1) X ‾ , S 2 \overline{X},S^2 X,S2 相互独立。