【概率论基础进阶】随机变量的数字特征-矩、协方差和相关系数

矩

定义：
设$X$是随机变量，如果
$$E(X^k),k=1,2,\cdots$$
存在，则称之为$X$的$k$阶原点矩

设$X$是随机变量，如果
$$E\left\{[X-E(X){]}^k\right\},k=1,2,3,\cdots$$
存在，则称之为$X$的$k$阶中心矩

设$X$和$Y$是两个随机变量，如果
$$E(X^k{Y}^l),k,l=1,2,\cdots$$
存在，则称之为$X$和$Y$的$k+l$阶混合矩

设$X$和$Y$是两个随机变量，如果
$$E\left\{[X-E(X){]}^k[Y-E(Y){]}^l\right\},k,l=1,2,\cdots$$
存在，则称之为$X$和$Y$的$k+l$阶混合中心矩

协方差

定义：对于随机变量$X$和$Y$，如果 E { [ X − E ( X ) ] [ Y − E ( Y ) ] } E \left\{[X-E(X)][Y-E(Y)]\right\} E{[X−E(X)][Y−E(Y)]}存在，则称之为$X$和$Y$的协方差，记作$\text{cov}(X,Y)$，即
cov ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } \text{cov}(X,Y)=E \left\{[X-E(X)][Y-E(Y)]\right\} cov(X,Y)=E{[X−E(X)][Y−E(Y)]}

计算公式

• $\text{cov}(X,Y)=E(XY)-E(X)E(Y)$
• $D(X\pm Y)=D(X)+D(Y)\pm \text{cov}(X,Y)$

性质

• $\text{cov}(X,Y)=\text{cov}(X,Y)$
• $\text{cov}(aX,bY)=ab\text{cov}(X,Y)$，其中$a,b$是常数
• $\text{cov}(X_1+X_2,Y)=\text{cov}(X_1,Y)+\text{cov}(X_2,Y)$

例1：设随机变量$X_1,X_2,\cdots ,X_n(n>1)$相互独立，均服从正态分布$N(0,{\sigma }^2)$，则$\text{cov}(X_1,\frac{1}{n}\sum _{i=1}^n{X}_i)=()$

注意此处 1 n ∑ i = 1 n X i ≠ E ( X )

1n∑i=1nXi≠E(X)" role="presentation" style="position: relative;">1n∑i=1nXi≠E(X)$$\begin{array}{r}\frac{1}{n}\sum _{i=1}^n{X}_i\ne E(X)\end{array}$$

n1​i=1∑n​Xi​=E(X)​

cov ( X 1 , 1 n ∑ i = 1 n X i ) = E ( X 1 − E X 1 ) ( 1 n ∑ i = 1 n X i − 1 n ∑ i = 1 n E X i ) = E [ X 1 ( 1 n ∑ i = 1 n X i ) ] = 1 n E ( X 1 ∑ i = 1 n X i ) = 1 n E ( X 1 2 + ∑ i = 2 n X 1 X i ) = 1 n ( σ 2 + ∑ i = 2 n 0 ) = σ 2 n

cov(X1​,n1​i=1∑n​Xi​)​=E(X1​−EX1​)(n1​i=1∑n​Xi​−n1​i=1∑n​EXi​)=E[X1​(n1​i=1∑n​Xi​)]=n1​E(X1​i=1∑n​Xi​)=n1​E(X12​+i=2∑n​X1​Xi​)=n1​(σ2+i=2∑n​0)=nσ2​​

例2：箱中装有$6$个球，其中红、白、黑球的个数分别为$1,2,3$个，现从箱中随机地取出$2$个球，记$X$为取出红球的个数，$Y$为取出的白球个数，求$\text{cov}(X,Y)$

cov ( X , Y ) = E ( X Y ) − E ( X ) ⋅ E ( Y ) E ( X ) = 0 × 2 3 + 1 × 1 3 = 1 3 E ( Y ) = 0 × 2 5 + 1 × 8 15 + 2 × 1 15 = 2 3 E ( X Y ) = 0 × ( 1 5 + 2 5 + 1 15 + 1 5 ) + 1 × 1 × 2 15 + 1 × 2 × 0 = 2 15 cov ( X , Y ) = 2 15 − 1 3 × 2 3 = − 4 45

cov(X,Y)E(X)E(Y)E(XY)cov(X,Y)​=E(XY)−E(X)⋅E(Y)=0×32​+1×31​=31​=0×52​+1×158​+2×151​=32​=0×(51​+52​+151​+51​)+1×1×152​+1×2×0=152​=152​−31​×32​=−454​​

相关系数

定义：随机变量$X$和$Y$，如果$D(X)D(Y)\ne 0$，则称 cov ( X , Y ) D ( X ) D ( Y )

D(X) ​D(Y) ​cov(X,Y)​​为$X$和$Y$的相关系数，记为${\rho }_{XY}$，即
$${\rho }_{XY}=\frac{\text{cov}(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$
如果$D(X)D(Y)=0$，则${\rho }_{XY}=0$
如果随机变量$X$和$Y$的相关系数${\rho }_{XY}=0$，则称$X$和$Y$不相关

性质

• $|{\rho }_{XY}|\le 1$
• $|{\rho }_{XY}|=1$的充分必要条件是存在常数$a$和$b$，其中$a\ne 0$，使得
  P { Y = a X + b } = 1 P \left\{Y=aX+b\right\}=1 P{Y=aX+b}=1

个人理解，相关系数的意义，相关系数可写作
$$\rho =\frac{E(X-EX)(Y-E(Y))}{\sqrt{DX}\sqrt{DY}}=\frac{E(X-EX)}{\sqrt{DX}}\cdot \frac{E(Y-EY)}{\sqrt{DY}}$$
即两个变量标准化后的协方差。两变量的协方差如果很大，无法直接得到其是由于$E(X)$或$E(Y)$大导致，还是二者差异大导致，因此进行标准化

例3：随机试验$E$有三种两两不相容的结果$A_1,A_2,A_3$，且三种结果发生的概率均为$\frac{1}{3}$，将试验$E$独立重复做$2$次，$X$表示$2$次试验中结果$A_1$发生的次数，$Y$表示$2$次试验中结果$A_2$发生的次数，则$X$与$Y$的相关系数为（）

设$Z$表示$2$次试验中结果$A_3$发生的次数，试验是独立重复的，把$A_3$发生看成是试验成功，且$P(A_3)=\frac{1}{3}$，所以，随机变量$Z$必服从二项分布$B(2,\frac{1}{3})$，同理，$X$和$Y$也都服从$B(2,\frac{1}{3})$，因此$DX=DY$
显然有
$$X+Y+Z=2\Rightarrow Y=2-X-Z$$
因此
cov ( X , Y ) = cov ( X , 2 − X − Z ) = cov ( X , 2 ) − cov ( X , X ) − cov ( X , Z ) = 0 − D X − cov ( X , Z ) 由对称性cov ( X , Y ) = cov ( X , Z ) = − D X − cov ( X , Y )

cov(X,Y)​=cov(X,2−X−Z)=cov(X,2)−cov(X,X)−cov(X,Z)=0−DX−cov(X,Z)由对称性cov(X,Y)=cov(X,Z)=−DX−cov(X,Y)​
即
$$\text{cov}(X,Y)=-\frac{DX}{2}$$
则$X$与$Y$的相关系数
$${\rho }_{XY}=\frac{\text{cov}(X,Y)}{\sqrt{DX}\sqrt{DY}}=\frac{-\frac{DX}{2}}{DX}=-\frac{1}{2}$$

独立与不相关

1. 如果随机变量$X$和$Y$相互独立，则$X$和$Y$必不相关；反之，$X$和$Y$不相关时，$X$和$Y$不一定相互独立
2. 对二维正态随机变量$(X,Y)$，$X$和$Y$相互独立的充分必要条件是$\rho =0$
3. 对二维正态随机变量$(X,Y)$，$X$和$Y$相互独立与$X$和$Y$不相关是等价的

例4：设随机变量$X$和$Y$的概率分布分别为

且$P\left\{X^2=Y^2\right\}=1$

• 求二维随机变量$(X,Y)$的概率分布

由$P\left\{X^2=Y^2\right\}=1$，得$P\left\{X^2\ne Y^2\right\}=0$，因此有

可得

• $X$与$Y$是否相互独立，是否不相关

显然存在$p_{ij}\ne p_{i\cdot }{p}_{\cdot j}$，因此$X$与$Y$不独立
又有
ρ X Y = cov ( X , Y ) D X D Y = E X Y − E X ⋅ E Y D X D Y = 0 − 2 3 × 0 D X D Y = 0

ρXY​=DX ​DY ​cov(X,Y)​=DX ​DY ​EXY−EX⋅EY​=DX ​DY ​0−32​×0​=0​
因此$X$与$Y$不相关，不独立

例5：已知随机变量$(X,Y)$服从二维正态分布$N({\mu }_1,{\mu }_2;{\sigma }_1^2,{\sigma }_2^2;0)$，记$Z_1=X+Y$和$Z_2=X-Y$

• 求$(Z_1,Z_2)$的分布

由于
∣ 1 1 1 − 1 ∣ ≠ 0

\ne 0 ∣ ∣​11​1−1​∣ ∣​=0
因此$(Z_1,Z_2)=(X+Y,X-Y)$服从二维正态
D ( Z 1 ) = D ( X + Y ) = D X + D Y = σ 1 2 + σ 2 2 D ( Z 2 ) = D ( X − Y ) = D X + D Y = σ 1 2 + σ 2 2 cov ( Z 1 , Z 2 ) = cov ( X + Y , X − Y ) = cov ( X , X ) − cov ( X , Y ) + cov ( Y , X ) − cov ( Y , Y ) = σ 1 2 − σ 2 2 ρ Z 1 , Z 2 = cov ( Z 1 , Z 2 ) D Z 1 D Z 2 = σ 1 2 − σ 2 2 σ 1 2 + σ 2 2

D(Z1)=D(X+Y)=DX+DY=σ12+σ22D(Z2)=D(X−Y)=DX+DY=σ12+σ22cov(Z1,Z2)=cov(X+Y,X−Y)=cov(X,X)−cov(X,Y)+cov(Y,X)−cov(Y,Y)=σ12−σ22ρZ1,Z2=cov(Z1,Z2)DZ1DZ2=σ12−σ22σ12+σ22" role="presentation" style="position: relative;">D(Z1)D(Z2)cov(Z1,Z2)ρZ1,Z2=D(X+Y)=DX+DY=σ21+σ22=D(X−Y)=DX+DY=σ21+σ22=cov(X+Y,X−Y)=cov(X,X)−cov(X,Y)+cov(Y,X)−cov(Y,Y)=σ21−σ22=cov(Z1,Z2)DZ1−−−−√DZ2−−−−√=σ21−σ22σ21+σ22$$\begin{array}{rl}D(Z_1)& =D(X+Y)=DX+DY={\sigma }_1^2+{\sigma }_2^2\\ D(Z_2)& =D(X-Y)=DX+DY={\sigma }_1^2+{\sigma }_2^2\\ \text{cov}(Z_1,Z_2)& =\text{cov}(X+Y,X-Y)\\ & =\text{cov}(X,X)-\text{cov}(X,Y)+\text{cov}(Y,X)-\text{cov}(Y,Y)\\ & ={\sigma }_1^2-{\sigma }_2^2\\ {\rho }_{Z_1,Z_2}& =\frac{\text{cov}(Z_1,Z_2)}{\sqrt{D{Z}_1}\sqrt{D{Z}_2}}=\frac{{\sigma }_1^2-{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}\end{array}$$

D(Z1​)D(Z2​)cov(Z1​,Z2​)ρZ1​,Z2​​​=D(X+Y)=DX+DY=σ12​+σ22​=D(X−Y)=DX+DY=σ12​+σ22​=cov(X+Y,X−Y)=cov(X,X)−cov(X,Y)+cov(Y,X)−cov(Y,Y)=σ12​−σ22​=DZ1​ ​DZ2​ ​cov(Z1​,Z2​)​=σ12​+σ22​σ12​−σ22​​​
因此 ( Z 1 , Z 2 ) ∼ N ( μ 1 + μ 2 , μ 1 − μ 2 ; σ 1 2 + σ 2 2 , σ 1 2 − σ 2 2 ; σ 1 2 − σ 2 2 σ 1 2 + σ 2 2 )

(Z1,Z2)∼N(μ1+μ2,μ1−μ2;σ12+σ22,σ12−σ22;σ12−σ22σ12+σ22)" role="presentation" style="position: relative;">(Z1,Z2)∼N(μ1+μ2,μ1−μ2;σ21+σ22,σ21−σ22;σ21−σ22σ21+σ22)$$\begin{array}{r}(Z_1,Z_2)\sim N({\mu }_1+{\mu }_2,{\mu }_1-{\mu }_2;{\sigma }_1^2+{\sigma }_2^2,{\sigma }_1^2-{\sigma }_2^2;\frac{{\sigma }_1^2-{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2})\end{array}$$

(Z1​,Z2​)∼N(μ1​+μ2​,μ1​−μ2​;σ12​+σ22​,σ12​−σ22​;σ12​+σ22​σ12​−σ22​​)​

• $Z_1$与$Z_2$是否相互独立

当${\sigma }_1={\sigma }_2$时， ρ Z 1 Z 2 = 0 ⇒

ρZ1​Z2​​=0⇒​$Z_1,Z_2$不相关，相互独立
当${\sigma }_1\ne {\sigma }_2$时， ρ Z 1 Z 2 ≠ 0 ⇒

ρZ1Z2≠0⇒" role="presentation" style="position: relative;">ρZ1Z2≠0⇒$$\begin{array}{r}{\rho }_{Z_1{Z}_2}\ne 0\Rightarrow \end{array}$$

ρZ1​Z2​​=0⇒​$Z_1,Z_2$不相互独立

$(X,Y)$是正态时，不相关与独立等价
$(X,Y)$正态时，$X$与$Y$必正态，反之不一定
$X$与$Y$均正态且相互独立，则$(X,Y)$必正态
$(X,Y)$正态的充要条件为 ∣ a b c d ∣ ≠ 0

|abcd|" role="presentation" style="position: relative;">∣∣∣acbd∣∣∣$$\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|$$

\ne 0 ∣ ∣​ac​bd​∣ ∣​=0时，$(aX+bY,cX+dY)$为正态

例6：设随机变量$(X,Y)$服从二维正态分布 N ( 0 , 0 ; 1 , 4 ; − 1 2 )

N(0,0;1,4;−21​)​，证明 3 3 ( X + Y )

33(X+Y)" role="presentation" style="position: relative;">3–√3(X+Y)$$\begin{array}{r}\frac{\sqrt{3}}{3}(X+Y)\end{array}$$

33 ​​(X+Y)​是标准正态分布，且与$X$独立的是

显然$X\sim N(0,1),Y\sim (0,4)$
cov ( X , Y ) = ρ D X D Y = − 1 D ( X + Y ) = D X + D Y + 2 cov ( X , Y ) = 3

cov(X,Y)D(X+Y)​=ρDX ​DY ​=−1=DX+DY+2cov(X,Y)=3​

注意这里$D(X+Y)\ne DX+DY$，由于没有$X,Y$相互独立的条件

E [ 3 3 ( X + Y ) ] = 3 3 ( E X + E Y ) = 0 D [ 3 3 ( X + Y ) ] = 3 3 2 D ( X + Y ) = 1 cov ( 3 3 ( X + Y ) , X ) = 3 3 [ cov ( X , X ) + cov ( Y , X ) ] = 0 ρ 3 3 ( X + Y ) , X = 0

E[33 ​​(X+Y)]D[33 ​​(X+Y)]cov(33 ​​(X+Y),X)ρ33 ​​(X+Y),X​​=33 ​​(EX+EY)=0=323​D(X+Y)=1=33 ​​[cov(X,X)+cov(Y,X)]=0=0​
由于
∣ 3 3 3 3 1 0 ∣ ≠ 0

|333310|" role="presentation" style="position: relative;">∣∣∣3√313√30∣∣∣$$\left|\begin{array}{cc}\frac{\sqrt{3}}{3}& \frac{\sqrt{3}}{3}\\ 1& 0\end{array}\right|$$

\ne 0 ∣ ∣​33 ​​1​33 ​​0​∣ ∣​=0
因此 ( 3 3 ( X + Y ) , X )

(33(X+Y),X)" role="presentation" style="position: relative;">(3–√3(X+Y),X)$$\begin{array}{r}\left(\frac{\sqrt{3}}{3}(X+Y),X\right)\end{array}$$

(33 ​​(X+Y),X)​也服从二维正态分布，其中${\rho }_{\frac{\sqrt{3}}{3}(X+Y),X}=0$，因此二者独立

CSDN话题挑战赛第2期
参赛话题：学习笔记