机器学习基础：随机变量及其概率分布

机器学习必备基础知识，力求以最简洁的语言，描述最完整的内容。
很多知识没有深入剖析，也没必要深入剖析。大致了解知识框架之后，即可开始学习机器学习，有不懂的再回过头再仔细研究，驱动式学习才是最高效的学习。

随机变量的数字特征

数学期望

离散型随机变量的数学期望

$P(X=x_i)=p_i,i=1,2,...$，若级数${\sum }_{i=1}^{+\infty }|x_i|p_i$收敛，则称${\sum }_{i=1}^{+\infty }{x}_i{p}_i$为$X$的数学期望，记为$EX$；如果发散，那么$EX$不存在

0-1分布 取1的概率为$p$, 取0的概率为$1-p$
$$EX=1\cdot p+0\cdot (1-p)=p$$
二项分布$B(n,p)$
E X = ∑ k = 0 n k P ( X = k ) = ∑ k = 1 n k C n k p k ( 1 − p ) n − k = ∑ k = 1 n k n ! k ! ( n − k ) ! p k ( 1 − p ) n − k = ∑ k = 1 n n ! ( k − 1 ) ! ( n − k ) ! p k ( 1 − p ) n − k = n p ∑ k = 1 n ( n − 1 ) ! ( k − 1 ) ! ( ( n − 1 ) − ( k − 1 ) ) ! p k − 1 ( 1 − p ) ( n − 1 ) − ( k − 1 ) = n p ∑ k = 1 n C n − 1 k − 1 p k − 1 ( 1 − p ) ( 1 − p ) ( n − 1 ) − ( k − 1 ) = n p

EX​=k=0∑n​kP(X=k)=k=1∑n​kCnk​pk(1−p)n−k=k=1∑n​kk!(n−k)!n!​pk(1−p)n−k=k=1∑n​(k−1)!(n−k)!n!​pk(1−p)n−k=npk=1∑n​(k−1)!((n−1)−(k−1))!(n−1)!​pk−1(1−p)(n−1)−(k−1)=npk=1∑n​Cn−1k−1​pk−1​(1−p)(1−p)(n−1)−(k−1)=np​
泊松分布 $P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda },k=0,1,2,...$
$$EX=\sum _{k=0}^{+\infty }kP(X=k)=\sum _{k=1}^{+\infty }k\frac{{\lambda }^k}{k!}{e}^{-\lambda }=\lambda \sum _{k=1}^{+\infty }\frac{{\lambda }^{k-1}}{(k-1)!}{e}^{-\lambda }=\lambda$$
泊松分布的期望就是参数$\lambda$，还记得之前二项分布中的$n$很大$p$很小时，就变成泊松分布，其中$\lambda =np$

连续型随机变量的数学期望

若积分${\int }_{-\infty }^{+\infty }|x|p(x)\mathrm{d}x<+\infty$，则$EX={\int }_{-\infty }^{+\infty }xp(x)\mathrm{d}x$

$p(x)\Delta x$近似表示$X$在$(x,x+\Delta x]$内取值的概率，这里的积分就相当于离散型中的求和

一些常见分布的数学期望

• 均匀分布
  p ( x ) = { 1 b − a , a < x < b 0 , 其他 E X = ∫ − ∞ + ∞ x p ( x ) d x = ∫ a b x b − a d x = a + b 2 p(x)=

  {1b−a,a<x<b0,其他" role="presentation">{1b−a,0,a<x<b其他$$\{\begin{array}{ll}\frac{1}{b-a},& a<x<b\\ 0,& \text{其他}\end{array}$$
  \\ EX=\int_{-\infin}^{+\infin}xp(x){\rm d}x=\int_a^b\frac x{b-a}{\rm d}x=\frac{a+b}{2} p(x)={b−a1​,0,​a<x<b其他​EX=∫−∞+∞​xp(x)dx=∫ab​b−ax​dx=2a+b​

• 指数分布 $X\sim E(\lambda ),\lambda >0$
  $$\begin{gathered} p(x)=\lambda e^{-\lambda x},x>0 \\ EX={\int }_0^{+\infty }xp(x)\mathrm{d}x=\lambda {\int }_0^{+\infty }x{e}^{-\lambda x}\mathrm{d}x=\frac{1}{\lambda } \end{gathered}$$

• 正态分布 $x\sim N(\mu ,{\sigma }^2)$
  $$\begin{gathered} p(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}} \\ EX={\int }_{-\infty }^{+\infty }xp(x)\mathrm{d}x={\int }_{-\infty }^{+\infty }x\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}\mathrm{d}x \end{gathered}$$
  令$t=\frac{x-\mu }{\sigma }$，则$x=\sigma t+\mu$

  则
  $$EX=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{+\infty }(\sigma t+\mu )e^{-\frac{t^2}{2}}\mathrm{d}t=\mu$$

随机变量函数的数学期望

• 设$X$的函数$Y=g(X)$也是一个随机变量，则

  • 若$X$为离散型，分布律$P(X=x_k)=p_k,k=1,2,...$，若${\sum }_{k=1}^{+\infty }|g(x_k)|p_k$收敛，则
    $$EY=\sum _{k=1}^{+\infty }g(x_k)p_k$$

  • 若$X$为连续型，密度函数为$p(x)$，若${\int }_{-\infty }^{+\infty }|g(x)|p(x)\mathrm{d}x<+\infty$，则
    $$EY={\int }_{-\infty }^{+\infty }g(x)p(x)\mathrm{d}x$$

• 推广到随机向量类型

  • 若$(X,Y)$为离散型，分布律$P(X=x_i,Y=y_j)=p_{ij},i,j=1,2,...$，若${\sum }_{i=1}^{+\infty }{\sum }_{j=1}^{+\infty }|g(x_i,y_j)|p_{ij}$收敛，则
    $$EZ=\sum _{i=1}^{+\infty }\sum _{j=1}^{+\infty }g(x_i,y_j)p_{ij}$$
    若$(X,Y)$为连续型，密度函数为$p(x,y)$，若${\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }|g(x,y)|p(x,y)\mathrm{d}x\mathrm{d}y<+\infty$，则
    $$EZ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)p(x,y)\mathrm{d}x\mathrm{d}y$$

数学期望的性质

• $a$为常数，$E(a)=a$
• 线性性质，对任意有限常数$a,b$，$E(aX+bY)=aEX+bEY$
• 若$X,Y$相互独立，则$EXY=EX\cdot EY$

方差

定义：若$E{X}^2<+\infty$，则称$E(X-EX{)}^2$为随机变量$X$的方差，记为$D(X)$或$Var(X)$，同时称$\sqrt{D(X)}$为$X$的均方差或标准差，记为$\sigma (X)$

事实上，方差$D(X)$就是随机变量$X$的函数$g(X)=(X-EX{)}^2$的数学期望，方差不一定存在

那么方差公式如下：

• $X$离散型 $P(X=x_k)=p_k,k=1,2,...$
  $$D(X)=E(X-EX{)}^2=\sum _{k=1}^{+\infty }(x_k-EX{)}^2{p}_k$$

• $X$连续型，密度函数$p(x)$
  $$D(X)=E(X-EX{)}^2={\int }_{-\infty }^{+\infty }(x-EX{)}^{2}p(x)\mathrm{d}x$$

• 不过这个$E(X-EX{)}^2$似乎可以化简一下：
  $$D(X)=E(X-EX{)}^2=E[X^2-2XEX+(EX{)}^2]=E{X}^2-2EX\cdot EX+(EX{)}^2=E{X}^2-(EX{)}^2$$
  所以$D(X)=E{X}^2-(EX{)}^2$

一些常用分布的方差

离散型

二项分布，$X\sim B(n,p)$ $EX=np$
D ( X ) = E X 2 − ( E X ) 2 E X 2 = ∑ k = 0 n k 2 P ( X = k ) = ∑ k = 1 n k 2 C n k p k ( 1 − p ) n − k = n p ∑ k = 1 n k ⋅ ( n − 1 ) ! ( k − 1 ) ! ( n − k ) ! p k − 1 ( 1 − p ) ( n − 1 ) − ( k − 1 ) / / 比 E X 每项多乘了个 k = n p ∑ k = 1 n [ ( k − 1 ) + 1 ] ⋅ ( n − 1 ) ! ( k − 1 ) ! ( n − k ) ! p k − 1 ( 1 − p ) ( n − 1 ) − ( k − 1 ) = n p ∑ k = 1 n ( k − 1 ) ⋅ ( n − 1 ) ! ( k − 1 ) ! ( n − k ) ! p k − 1 ( 1 − p ) ( n − 1 ) − ( k − 1 ) + n p ∑ k = 1 n ( n − 1 ) ! ( k − 1 ) ! ( n − k ) ! p k − 1 ( 1 − p ) ( n − 1 ) − ( k − 1 ) / / 左边是 n p ⋅ [ B ( n − 1 , k ) 的期望 ] ，右边是 n p ⋅ 1 = n p [ ( n − 1 ) p + 1 ] 所以 D ( X ) = n p [ ( n − 1 ) p + 1 ] + ( n p ) 2 = n p ( 1 − p ) = n p q

D(X)EX2所以D(X)​=EX2−(EX)2=k=0∑n​k2P(X=k)=k=1∑n​k2Cnk​pk(1−p)n−k=npk=1∑n​(k−1)!(n−k)!k⋅(n−1)!​pk−1(1−p)(n−1)−(k−1)//比EX每项多乘了个k=npk=1∑n​(k−1)!(n−k)![(k−1)+1]⋅(n−1)!​pk−1(1−p)(n−1)−(k−1)=npk=1∑n​(k−1)!(n−k)!(k−1)⋅(n−1)!​pk−1(1−p)(n−1)−(k−1)+npk=1∑n​(k−1)!(n−k)!(n−1)!​pk−1(1−p)(n−1)−(k−1)//左边是np⋅[B(n−1,k)的期望]，右边是np⋅1=np[(n−1)p+1]=np[(n−1)p+1]+(np)2=np(1−p)=npq​
泊松分布，$X\sim P(\lambda )$
$$\begin{gathered} p_k=P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda } \\ (k=0,1,\mathrm{2...},n),\lambda >0 \\ EX=\lambda \\ \begin{array}{rl}D(X)& =E{X}^2-(EX{)}^2\\ E{X}^2& =\sum _{k=0}^{+\infty }{k}^{2}P(X=k)\\ & =\sum _{k=1}^{+\infty }{k}^2\frac{{\lambda }^k}{k!}{e}^{-\lambda }=\lambda \sum _{k=1}^{+\infty }k\frac{{\lambda }^{k-1}}{(k-1)!}{e}^{-\lambda }\\ & =\lambda \sum _{k=1}^{+\infty }[(k-1)+1]\frac{{\lambda }^{k-1}}{(k-1)!}{e}^{-\lambda }\\ & =\lambda \sum _{k=1}^{+\infty }(k-1)\frac{{\lambda }^{k-1}}{(k-1)!}{e}^{-\lambda }+\lambda \sum _{k=1}^{+\infty }\frac{{\lambda }^{k-1}}{(k-1)!}{e}^{-\lambda }\\ //& 左边是\lambda \cdot EX，右边是\lambda \\ & ={\lambda }^2+\lambda \\ 所以D(X)& ={\lambda }^2+\lambda -{\lambda }^2=\lambda \end{array} \end{gathered}$$

连续型

• 均匀分布，$X\sim U[a,b]$
  p ( x ) = { 1 b − a , a < x < b 0 , 其他 D ( X ) = E X 2 − ( E X ) 2 E X = a + b 2 E X 2 = ∫ − ∞ + ∞ x 2 p ( x ) d x = ∫ a b x 2 b − a d x = a 2 + a b + b 2 3 所以 D ( X ) = a 2 + a b + b 2 3 − ( a + b 2 ) 2 = ( b − a ) 2 12 p(x)=
  {1b−a,a<x<b0,其他" role="presentation">{1b−a,0,a<x<b其他$$\{\begin{array}{ll}\frac{1}{b-a},& a<x<b\\ 0,& \text{其他}\end{array}$$
  \\ D(X)=EX^2-(EX)^2\\ EX=\frac {a+b}2\\ EX^2=\int_{-\infin}^{+\infin}x^2p(x){\rm d}x=\int_{a}^{b}\frac{x^2}{b-a}{\rm d}x\\ =\frac{a^2+ab+b^2}{3}\\ 所以D(X)=\frac{a^2+ab+b^2}{3}-(\frac{a+b}2)^2=\frac{(b-a)^2}{12} p(x)={b−a1​,0,​a<x<b其他​D(X)=EX2−(EX)2EX=2a+b​EX2=∫−∞+∞​x2p(x)dx=∫ab​b−ax2​dx=3a2+ab+b2​所以D(X)=3a2+ab+b2​−(2a+b​)2=12(b−a)2​
  指数分布，$X\sim E(\lambda )$
  $$\begin{gathered} p(x)=\lambda e^{-\lambda x},x>0 \\ EX=\frac{1}{\lambda } \\ E{X}^2={\int }_0^{+\infty }{x}^2\lambda e^{-\lambda x}\mathrm{d}x=-{\int }_0^{+\infty }{x}^2\mathrm{d}{e}^{-\lambda x} \\ =-x^2{e}^{-\lambda x}{|}_0^{+\infty }+2{\int }_0^{+\infty }x{e}^{-\lambda x}\mathrm{d}x \\ =\frac{2}{{\lambda }^2} \\ 所以D(X)=\frac{2}{{\lambda }^2}-(\frac{1}{\lambda }{)}^2=\frac{1}{{\lambda }^2} \end{gathered}$$
  正态分布，$X\sim N(\mu ,{\sigma }^2)$
  $$\begin{gathered} p(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}} \\ EX=\mu \\ D(X)=E(X-EX{)}^2=\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^{+\infty }(x-\mu {)}^2{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}\mathrm{d}x \end{gathered}$$
  令$t=\frac{x-\mu }{\sigma }$，则
  D ( X ) = 1 2 π σ ∫ − ∞ + ∞ σ 2 t 2 e − t 2 2 σ d t = σ 2 1 2 π ∫ − ∞ + ∞ t 2 e − t 2 2 d t = − σ 2 2 π ∫ − ∞ + ∞ t d e − t 2 2 = − σ 2 2 π ( t e − t 2 2 ∣ − ∞ + ∞ − ∫ − ∞ + ∞ e − t 2 2 d t ) / / 左边为 0 ，右边为标准正态分布的积分 = σ 2
  D(X)=12πσ∫−\infin+\infinσ2t2e−t22σdt=σ212π∫−\infin+\infint2e−t22dt=−σ22π∫−\infin+\infintde−t22=−σ22π(te−t22|−\infin+\infin−∫−\infin+\infine−t22dt)//左边为0，右边为标准正态分布的积分=σ2" role="presentation">D(X)=12π−−√σ∫+\infin−\infinσ2t2e−t22σdt=σ212π−−√∫+\infin−\infint2e−t22dt=−σ22π−−√∫+\infin−\infintde−t22=−σ22π−−√(te−t22|+\infin−\infin−∫+\infin−\infine−t22dt)//左边为0，右边为标准正态分布的积分=σ2$$\begin{array}{rl}D(X)& =\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\text{infin}}^{+\text{infin}}{\sigma }^2{t}^2{e}^{-\frac{t^2}{2}}\sigma \mathrm{d}t\\ & ={\sigma }^2\frac{1}{\sqrt{2\pi }}{\int }_{-\text{infin}}^{+\text{infin}}{t}^2{e}^{-\frac{t^2}{2}}\mathrm{d}t\\ & =-\frac{{\sigma }^2}{\sqrt{2\pi }}{\int }_{-\text{infin}}^{+\text{infin}}t\mathrm{d}{e}^{-\frac{t^2}{2}}\\ & =-\frac{{\sigma }^2}{\sqrt{2\pi }}(t{e}^{-\frac{t^2}{2}}{|}_{-\text{infin}}^{+\text{infin}}-{\int }_{-\text{infin}}^{+\text{infin}}{e}^{-\frac{t^2}{2}}\mathrm{d}t)\\ & //左边为0，右边为标准正态分布的积分\\ & ={\sigma }^2\end{array}$$
  D(X)​=2π ​σ1​∫−∞+∞​σ2t2e−2t2​σdt=σ22π ​1​∫−∞+∞​t2e−2t2​dt=−2π ​σ2​∫−∞+∞​tde−2t2​=−2π ​σ2​(te−2t2​∣−∞+∞​−∫−∞+∞​e−2t2​dt)//左边为0，右边为标准正态分布的积分=σ2​

方差的性质

• 常数的方差为0，即任意常数$a$，$D(a)=0$

• 设$a,b$为任意有限常数，若$X$的方差存在，则
  $$D(aX+b)=a^{2}D(X)$$
  证明
  D ( a X + b ) = E ( a X + b − E ( a X + b ) ) 2 = E ( a X + b − a E X − b ) 2 = E ( a X − a E X ) 2 = a 2 E ( X − E X ) 2 = a 2 D ( X )

  D(aX+b)=E(aX+b−E(aX+b))2=E(aX+b−aEX−b)2=E(aX−aEX)2=a2E(X−EX)2=a2D(X)" role="presentation">D(aX+b)=E(aX+b−E(aX+b))2=E(aX+b−aEX−b)2=E(aX−aEX)2=a2E(X−EX)2=a2D(X)$$\begin{array}{rl}D(aX+b)& =E(aX+b-E(aX+b){)}^2\\ & =E(aX+b-aEX-b{)}^2=E(aX-aEX{)}^2\\ & =a^{2}E(X-EX{)}^2\\ & =a^{2}D(X)\end{array}$$
  D(aX+b)​=E(aX+b−E(aX+b))2=E(aX+b−aEX−b)2=E(aX−aEX)2=a2E(X−EX)2=a2D(X)​

• 对任意随机变量$X,Y$，方差均存在，则
  $$D(X\pm Y)=D(X)+D(Y)\pm 2E[(X-EX)(Y-EY)]$$
  证明（以加法为例）
  D ( X + Y ) = E ( X + Y − E ( X + Y ) ) 2 = E ( ( X − E X ) + ( Y − E Y ) ) 2 = E [ ( X − E X ) 2 + 2 ( X − E X ) ( Y − E Y ) + ( Y − E Y ) 2 ] = D ( X ) + D ( Y ) ± 2 E [ ( X − E X ) ( Y − E Y ) ]

  D(X+Y)=E(X+Y−E(X+Y))2=E((X−EX)+(Y−EY))2=E[(X−EX)2+2(X−EX)(Y−EY)+(Y−EY)2]=D(X)+D(Y)±2E[(X−EX)(Y−EY)]" role="presentation">D(X+Y)=E(X+Y−E(X+Y))2=E((X−EX)+(Y−EY))2=E[(X−EX)2+2(X−EX)(Y−EY)+(Y−EY)2]=D(X)+D(Y)±2E[(X−EX)(Y−EY)]$$\begin{array}{rl}D(X+Y)& =E(X+Y-E(X+Y){)}^2\\ & =E((X-EX)+(Y-EY){)}^2\\ & =E[(X-EX{)}^2+2(X-EX)(Y-EY)+(Y-EY{)}^2]\\ & =D(X)+D(Y)\pm 2E[(X-EX)(Y-EY)]\end{array}$$
  D(X+Y)​=E(X+Y−E(X+Y))2=E((X−EX)+(Y−EY))2=E[(X−EX)2+2(X−EX)(Y−EY)+(Y−EY)2]=D(X)+D(Y)±2E[(X−EX)(Y−EY)]​
  当$X$和$Y$独立时，$X-EX$和$Y-EY$也相互独立，则$E[(X-EX)(Y-EY)]=E(X-EX)E(Y-EY)=0$，此时
  $$D(X\pm Y)=D(X)+D(Y)$$
  • 推广到$n$个的情形
    $$D(X_1+X_2+...+X_n)=\sum _{k=1}^{n}D(X_k)+2\sum _{1⩽i<j⩽n}E[(X_i-E{X}_i)(X_j-E{X}_j)]$$
    若$X_1,X_2,...,X_n$两两独立，则
    $$D(X_1+X_2+...+X_n)=\sum _{k=1}^{n}D(X_k)$$

切比雪夫不等式

• 若$X$的$EX$和$DX$均存在，则对任意$\epsilon >0$，有
  $$P(|X-EX|⩾\epsilon )⩽\frac{DX}{{\epsilon }^2}$$
  证明：（以连续型为例$X$的密度函数$p(x)$）
  P ( ∣ X − E X ∣ ⩾ ε ) = ∫ { x : ∣ x − E X ∣ ⩾ ε } p ( x ) d x ⩽ ∫ { x : ∣ x − E X ∣ ⩾ ε } ( x − E X ) 2 ε 2 p ( x ) d x ⩽ 1 ε 2 ∫ − ∞ + ∞ ( x − E X ) 2 p ( x ) d x = D X ε 2
  P(|X−EX|⩾ε)=∫{x:|x−EX|⩾ε}p(x)dx⩽∫{x:|x−EX|⩾ε}(x−EX)2ε2p(x)dx⩽1ε2∫−\infin+\infin(x−EX)2p(x)dx=DXε2" role="presentation">P(|X−EX|⩾ε)=∫{x:|x−EX|⩾ε}p(x)dx⩽∫{x:|x−EX|⩾ε}(x−EX)2ε2p(x)dx⩽1ε2∫+\infin−\infin(x−EX)2p(x)dx=DXε2$$\begin{array}{rl}P(|X-EX|⩾\epsilon )& ={\int }_{\{x:|x-EX|⩾\epsilon \}}p(x)\mathrm{d}x\\ & ⩽{\int }_{\{x:|x-EX|⩾\epsilon \}}\frac{(x-EX{)}^2}{{\epsilon }^2}p(x)\mathrm{d}x\\ & ⩽\frac{1}{{\epsilon }^2}{\int }_{-\text{infin}}^{+\text{infin}}(x-EX{)}^{2}p(x)\mathrm{d}x=\frac{DX}{{\epsilon }^2}\end{array}$$
  P(∣X−EX∣⩾ε)​=∫{x:∣x−EX∣⩾ε}​p(x)dx⩽∫{x:∣x−EX∣⩾ε}​ε2(x−EX)2​p(x)dx⩽ε21​∫−∞+∞​(x−EX)2p(x)dx=ε2DX​​

协方差与相关系数

定义：对于随机变量$X,Y$，若$EX,EY,E(XY)$均存在，则称$E[(X-EX)(Y-EY)]$为$X$和$Y$的协方差，记为$\mathrm{cov}(\mathrm{X},\mathrm{Y})$，即
$$\mathrm{cov}(X,Y)=E[(X-EX)(Y-EY)]$$

那么我们之前方差性质可以写成：
$$D(X\pm Y)=D(X)+D(Y)\pm 2E[(X-EX)(Y-EY)]=D(X)+D(Y)\pm 2\mathrm{cov}(X,Y)$$
此外，将协方差的公式展开得：
c o v ( X , Y ) = E [ ( X − E X ) ( Y − E Y ) ] = E ( X Y − X E Y − Y E X + E X E Y ) = E ( X Y ) − E ( X E Y ) − E ( Y E X ) + E X ⋅ E Y = E ( X Y ) − E X ⋅ E Y

cov(X,Y)​=E[(X−EX)(Y−EY)]=E(XY−XEY−YEX+EXEY)=E(XY)−E(XEY)−E(YEX)+EX⋅EY=E(XY)−EX⋅EY​
协方差性质

• 对称性$\mathrm{cov}(X,Y)=\mathrm{cov}(Y,X)$
• 对任意常数$c$，$\mathrm{cov}(X,c)=0$
• 对常数$a,b,c,d$，$\mathrm{cov}(aX+c,bY+d)=ab\mathrm{cov}(X,Y)$
• $\mathrm{cov}(X_1+X_2,Y)=\mathrm{cov}(X_1,Y)+\mathrm{cov}(X_2,Y)$
• 若$X$和$Y$独立，$\mathrm{cov}(X,Y)=0$，反过来$\mathrm{cov}(X,Y)$并不能推出独立
• 性质三、四体现协方差的双线性

柯西-施瓦茨不等式

$$[\mathrm{cov}(X,Y){]}^2⩽D(X)D(Y)$$

其中等号成立的充要条件是存在不全为0的常数$a,b$，使得$Y=aX+b$，即$X$与$Y$成线性关系

• 相关系数

  • 对于$X$，令
    $$X^{\ast }=\frac{X-EX}{\sqrt{D(X)}}$$
    可以发现有
    $$\begin{gathered} E{X}^{\ast }=E\frac{X-EX}{\sqrt{D(X)}}=0 \\ D{X}^{\ast }=D(\frac{X-EX}{\sqrt{D(X)}})=E(X^{\ast }-E{X}^{\ast }{)}^2=E(X^{\ast }{)}^2=E\frac{(X-EX{)}^2}{D(X)}=\frac{E(X-EX{)}^2}{D(X)}=1 \end{gathered}$$
    则称$X^{\ast }$为$X$的标准化随机变量。

  • 若随机变量$X,Y$的方差均存在且都$>0$，则称
    $$\frac{\mathrm{cov}(X,Y)}{\sqrt{D(X)D(Y)}}$$
    为$X$和$Y$的相关系数，记为${\rho }_{XY}$或$\mathrm{Corr}(X,Y)$，${\rho }_{XY}>0$称$X,Y$正相关，反之负相关。

    考虑$X,Y$的标准化随机变量$X^{\ast }=\frac{X-EX}{\sqrt{D(X)}},Y^{\ast }=\frac{Y-EY}{\sqrt{D(Y)}}$

    有
    $$\mathrm{cov}(X^{\ast },Y^{\ast })=\mathrm{cov}(\frac{X-EX}{\sqrt{D(X)}},\frac{Y-EY}{\sqrt{D(Y)}})=(协方差性质3)\frac{\mathrm{cov}(X,Y)}{\sqrt{D(X)D(Y)}}={\rho }_{XY}$$
    可见相关系数是随机变量标准化后的协方差

  • ${\rho }_{XY}$的性质：

    • $|{\rho }_{XY}|⩽1$
    • $|{\rho }_{XY}|=1$的充要条件是存在不全为0的常数$a,b$，使得$Y=aX+b$，即$X$与$Y$成线性关系

  • $|{\rho }_{XY}|$越大，$X,Y$间的线性关系约密切，越小则线性关系越弱

  • 特别地，${\rho }_{XY}=0$时，称$X,Y$线性无关或不相关

• 下面四个命题相互等价：

  • ${\rho }_{XY}=0$
  • $\mathrm{cov}(X,Y)=0$
  • $E(XY)=EX\cdot EY$
  • $D(X\pm Y)=D(X)+D(Y)$

• 注意，${\rho }_{XY}=0\iff$$X,Y$线性无关，但不能得出$X,Y$相互独立，因为两者可能有其他的非线性关系，独立性是说两者没有任何关系