PT_数字特征/常见分布的期望和方差

PT@数字特征@数学期望@方差@标准差

• 相比于分布函数,随机变量的数字特征更加直观和易于理解,集中的反映了随机变量的某些统计属性
  • 分布函数完整地描述了随机变量的统计规律
  • 特别是,某些随机变量不容易求解
  • 某些问题不需要实际求解出分布函数
  • 数字特征的计算结果为数值!
    • 这在推导公式的时候有用处

数学期望(均值)🎈

• 一般定义:

  • $$\begin{gathered} 设X是概率空间(\Omega ,F,P)中的随机变量 \\ (三个参数分别表示样本空间,样本空间幂集的非空子集,概率) \\ E(X)=\underset{\Omega }{\int }X\mathrm{d}P \\ 不是所有随机变量都有期望值(上述积分不存在,则没有期望值) \\ 如果2个随机变量的分布相同,期望也相同 \end{gathered}$$

  • $$\begin{gathered} P(x<X⩽x+\Delta x)=F(x+\Delta x)-F(x) \\ ={\int }_x^{x+\Delta x}f(x)\mathrm{d}x\approx f(x)\mathrm{d}x \\ 这个式子表明,f(x)\mathrm{d}x是X取值落在x处邻域内概率的估计 \end{gathered}$$

• 下面讨论的一维和二维情况,都可以理解为是对应维数**随机变量的函数**的期望的特例

一维

• 一维的情况比较基础:

离散型

• 设随机变量X的分布律为

  • $P(X=x_i)=p_i,i=1,2,\cdots$

  • $级数E(X)=\sum _{i=1}^{+\infty }{x}_k{p}_k绝对收敛$

    • 即:$E(|X|)=\sum _{i=1}^{+\infty }|x_k|p_k<+\infty$

      • 其中:$p_k=P(X=x_k)$

        • $$E(X)=\sum _{i=1}^{+\infty }{x}_k{p}_k=\sum _{i=1}^{+\infty }{x}_{k}P(X=x_k)$$

      • 否则随机变量X的期望不存在

    • $则E(X)为随机变量的数学期望(均值)$

  • 可以看出,当X可能取有限个值时,那么数学期望一定存在

  • 对于无穷中取值可能,绝对收敛就体现出作用

    • 绝对收敛性保证了级数E(X)的值不会因为求和顺序的不同而导致不同

连续型

• $设f(x)为概率密度,如果$

  • $$\begin{gathered} E(X)={\int }_{-\infty }^{+\infty }xf(x)dx绝对收敛, \\ 即{\int }_{-\infty }^{+\infty }|x|f(x)dx<+\infty \\ 则称E(X)为随机变量X的数学期望 \end{gathered}$$

    • 对比离散型期望定义和公式:
      • $\sum _{i=0}^{+\infty }\to {\int }_{-\infty }^{+\infty }$
      • $x_k\to x$
      • $p_k\to f(x)$

二维期望

• 参看下一节:二维随机变量的函数的期望

随机变量函数的期望🎈

• 随机变量函数的密度函数(或分布律)不一定要求出来

  • 可以利用随机变量函数直接求.

• 下面两个计算公式提供了简便计算随机变量函数Z=g(X)的期望的途径

  • 它们的证明需要专业知识

  • 利用这两个公式,可以避开对随机变量Z的分布律(或者密度函数的求解)

    $直接使用X的分布律(密度函数就可以计算出Z=g(X)的期望E(Z))$

一维变量函数

• 记:$Y=g(X)$

离散型

• $$\begin{gathered} 如果:\sum _{i=1}^{+\infty }|g(x_k)|p_k>+\infty \\ E(Y)=E(g(X))=\sum _{i=k}^{+\infty }g(x_k)p_k \end{gathered}$$

连续型

• $$\begin{gathered} 如果:{\int }_{-\infty }^{+\infty }|g(x)|f(x)\mathrm{d}x>+\infty \\ E(Y)=E(g(X))={\int }_{-\infty }^{+\infty }g(x)f(x)\mathrm{d}x \end{gathered}$$

二维变量函数

• 在二维期望存在情况下,有以下计算公式

离散型

• $记Z=g(X,Y)$

  • $$E(Z)=\sum _{i=1}^{+\infty }\sum _{j=1}^{+\infty }g(x_i,y_i)p_{ij}$$

  • $如果E(Z)绝对收敛,则随机变量Z=g(X,Y)的数学期望为E(Z)$

连续型

• 二维随机变量(函数)的期望

  • $Z=g(X,Y)$

  • $$E(Z)=E(g(X,Y))={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)\mathrm{d}x\mathrm{d}y$$

    • $f(x,y)表示随机变量X,Y的联合密度$

数学期望的性质🎈🎈

• $$\begin{gathered} C是常数 \\ X,Y是随机变量 \end{gathered}$$

  • 下面的性质可以用来推导方差的计算公式等以期望为基础的数字特征公式

• 常数相关的的期望,容易由期望公式推导

  • $E(C)=C$

  • $E(CX)=CE(X)$

  • $E(X\pm Y)=E(X)\pm E(Y)$

    • $$\begin{gathered} E(X+Y)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }(x+y)f(x,y)\mathrm{d}x\mathrm{d}y \\ ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }xf(x,y)\mathrm{d}x\mathrm{d}y+{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }yf(x,y)\mathrm{d}x\mathrm{d}y \\ ={\int }_{-\infty }^{+\infty }x\left({\int }_{-\infty }^{+\infty }f(x,y)\mathrm{d}y\right)\mathrm{d}x+{\int }_{-\infty }^{+\infty }y\left({\int }_{-\infty }^{+\infty }f(x,y)\mathrm{d}x\right)\mathrm{d}y \\ ={\int }_{-\infty }^{+\infty }x{f}_X(x)\mathrm{d}x+{\int }_{-\infty }^{+\infty }y{f}_Y(y)\mathrm{d}y \\ =E(X)+E(Y) \end{gathered}$$

  • 导出性质:

    • $E(aX+b)=aE(X)+b$

    • $E(\overline{X})=\overline{E(X)}$

      • $$\begin{gathered} 记\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i; \\ E(\overline{X})=\frac{1}{n}E(\sum _{i=1}^n{X}_i)=\frac{1}{n}\sum _{i=1}^{n}E(X_i) \\ \overline{E(X)}=\frac{1}{n}\sum _{i=1}^{n}E(X_i) \\ E(\overline{X})=\overline{E(X)} \end{gathered}$$

• X,Y不相关(或者相互独立)时

  • $E(XY)=E(X)E(Y)$

    • 记号说明

      • $${\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }\iff \underset{x\in R^2}{\iint }$$

    • $$\begin{gathered} 由独立性:f(x,y)=f_X(x)f_Y(y) \\ E(XY)=\underset{x\in R^2}{\iint }xyf(x,y)\mathrm{d}x=\underset{x\in R^2}{\iint }xy{f}_X(x)f_Y(y)\mathrm{d}x \\ =\left({\int }_{-\infty }^{+\infty }xf(x,y)\mathrm{d}x\right)\left({\int }_{-\infty }^{+\infty }yf(x,y)\mathrm{d}y\right) \\ =E(X)E(Y) \end{gathered}$$

方差

• $D(X)=E((X-E(X){)}^2)$

  • 也就是二阶中心矩

  • $X的方差可以用D(x)或者Var(X)表示$

  • $方差实际是有X的函数g(X)的期望$

    • $Z=Z(X)=X-E(X)$
    • $g(X)=|Z{|}^2=(X-{\mu }_X{)}^2$
    • $D(X)=E(g(X))$

方差和期望的联系

• 方差的大小反映的是
  • 随机变量取值范围围绕其数学期望的离散程度
  • Notes:
    • $D(X)\ne g(X)=(X-{\mu }_X{)}^2$
    • $\sqrt{D(X)}\ne \sqrt{g(X)}=|X-E(x)|$
    • $D(X)=E(g(X))$
  • 较小的D(X)意味这着X的取值比较集中于$X_{\mu }=E(X)$附近

方差非负性

• $X是随机变量,如果D(X)=E((X-E(X){)}^2)存在,那么D为X的方差$
  • $设Z=X-E(X)$
    • $p_i⩾0,随机变量的取值x_i或f(x)=Z^2=Z^2(X)⩾0$即,观测值非负性和概率非负性可知
    • $D(X)=E(Z^2)⩾0$
      • 注意$\sqrt{D(X)}\ne Z=X-E(X)$
  • 均方差/标准差:$\sqrt{D(X)}$

计算公式

• 由方差的展开形式可知,方差属于随机变量函数的均值(上一节内容)
• 根据随机变量的方差计算公式,可以由抽象定义
  • $D(X)=E(Y)=E(g(X))$

    • ${\mu }_X=E(X)$视为常数🎈

    • $Y=g(X)=(X-E(X){)}^2=(X-{\mu }_X{)}^2$

      • $g(x)=(x-{\mu }_X{)}^2$
      • $g(x_k)=(x_k-{\mu }_X{)}^2$

    • $E((X-E(X){)}^2)=E((x_k-{\mu }_X{)}^2)$

离散型

• $$D(X)=E(g(X))=\sum _{k=1}^{\infty }g(x_k)p_k=\sum _{k=1}^{\infty }(x_k-{\mu }_X{)}^2{p}_k$$

  • $D(X)⩾0$

连续型

• $$\begin{gathered} D(X)=E(g(X))={\int }_{-\infty }^{+\infty }g(x)f(x)\mathrm{d}x \\ ={\int }_{-\infty }^{+\infty }(x-E(X){)}^{2}f(x)\mathrm{d}x \\ ={\int }_{-\infty }^{+\infty }(x-{\mu }_X{)}^{2}f(x)\mathrm{d}x \end{gathered}$$

  • $D(X)⩾0$

方差性质🎈🎈

基本性质

• $D(X)=E(X^2)-E^2(X)$

  • $$\begin{gathered} D(X)=E((X-E(X){)}^2) \\ =E((X^2-2X\cdot E(X)+E^2(X))) \\ =E(X^2)-E(2XE(X))+E(E^2(X)) \\ 令G=E(X)(常数) \\ D(X)=E(X^2)-E(2XG)+E(G^2) \\ =E(X^2)-2GE(X)+G^2 \\ =E(X^2)-2GG+G^2 \\ =E(X^2)-G^2 \\ =E(X^2)-E^2(X) \end{gathered}$$

• $由于D(X)⩾0$

  • $E(X^2)⩾E^2(X)$

导出性质

• $$\begin{gathered} C是常数 \\ X,Y是随机变量 \end{gathered}$$

  • $D(C)=0$

  • $D(aX+b)=a^{2}D(X)$

    • $$\begin{gathered} D(X)=E((X-E(X){)}^2) \\ D(aX+b)=E((aX+b-E(aX+b){)}^2) \\ =E((aX+b-(aE(X)+E(b){)}^2) \\ =E((aX+b-(aE(X)+b){)}^2) \\ =E((aX+b-aE(X)-b{)}^2) \\ =E((aX-aE(X){)}^2) \\ =E((a(X-E(X)){)}^2) \\ =E(a^2(X-E(X){)}^2) \\ =a^{2}E((X-E(X){)}^2) \\ =a^{2}D(X) \end{gathered}$$

  • 如果X,Y不相关(或独立)

    • $D(X\pm Y)=D(X)\pm D(Y)$

  • 更一般的,有

    • $D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y)$

  • 方差和概率的关系:

    • $D(X)=0的充要条件是:$

      • $P(X=E(X))=1$

        • 或者说,$P(X\ne E(X))=0$

      • $X以概率1取得常数E(X),即X的取值只有E(X),这样一来,保证没有点偏离E(X)$

      • $$\begin{gathered} 充分性: \\ P(X=E(X))=1\Rightarrow P(X^2=E^2(X))=1 \\ 设常数E(X)=T;则E^2(X)=T^2 \\ E(X)=\sum _{i=1}^{+\infty }{x}_k{p}_k=\sum _{i=1}^{+\infty }{x}_{k}P(X=x_k) \\ Z=X^2 \\ E(X^2)=E(Z)=\sum _{i=1}^{+\infty }{z}_k{p}_k=\sum _{i=1}^{+\infty }{z}_{k}P(Z=z_k) \\ =T^2\cdot P(Z=T^2)=T^2 \\ D(X)=E(X^2)-E^2(X)=T^2-T^2=0 \end{gathered}$$

标准差

• 标准差，又称标准偏差、均方差 （英语：standard deviation，缩写SD，符号σ），在概率统计中最常使用作为测量一组数值的离散程度之用。
• 标准差定义：为方差开算术平方根，反映组内个体间的离散程度；
• 标准差与期望值之比为标准离差率。测量到分布程度的结果，原则上具有两种性质：
  1. 为非负数值（因为平方后再做平方根）；
  2. 与测量资料具有相同单位（这样才能比对）。
• 一个总量的标准差或一个随机变量的标准差，及一个子集合样品数的标准差之间，有所差别。
  标准差的概念由卡尔·皮尔逊引入到统计中。

基本定义🎈

• $$\sigma =\sqrt{\frac{1}{N}\sum _{i=1}^N(x_i-\overline{x}{)}^2}$$

• $\overline{x}$为平均值。

简化计算公式🎈

• 上述公式可以如下代换而简化：

• 方差公式变形

  • $$
    \begin{align}
    \sum_{i=1}^N (X_i - \mu)^2 & = {} \sum_{i=1}^N (X_i^2 - 2 X_i\mu + \mu^2) \

    & {} = \left(\sum_{i=1}^N X_i^2\right) - \left(2 \mu \sum_{i=1}^N X_i\right) + N\mu^2 \

    & {} = \left(\sum_{i=1}^N X_i^2\right) - 2 \mu (N\mu) + N\mu^2 \

    & {} = \left(\sum_{i=1}^N X_i^2\right) - 2N\mu^2 + N\mu^2 \

    & {} = \left(\sum_{i=1}^N X_i^2\right) - N\mu^2
    \end{align}
    $$

• 所以：

  • σ = 1 N ∑ i = 1 N ( X i − μ ) 2 = 1 N ( ∑ i = 1 N X i 2 ) − 1 N N μ 2 = ∑ i = 1 N X i 2 N − μ 2 {\displaystyle {
    σ=1N∑i=1N(Xi−μ)2=1N(∑i=1NXi2)−1NNμ2=∑i=1NXi2N−μ2" role="presentation">σ=1N∑i=1N(Xi−μ)2−−−−−−−−−−−−−⎷=1N(∑i=1NX2i)−1NNμ2−−−−−−−−−−−−−−−−−−−⎷=∑Ni=1X2iN−μ2−−−−−−−−−−−−√$$\begin{array}{rl}\sigma & =\sqrt{\frac{1}{N}\sum _{i=1}^N(X_i-\mu {)}^2}\\ & =\sqrt{\frac{1}{N}\left(\sum _{i=1}^N{X}_i^2\right)-\frac{1}{N}N{\mu }^2}\\ & =\sqrt{\frac{\sum _{i=1}^N{X}_i^2}{N}-{\mu }^2}\end{array}$$
    }} σ​=N1​i=1∑N​(Xi​−μ)2 ​=N1​(i=1∑N​Xi2​)−N1​Nμ2 ​=N∑i=1N​Xi2​​−μ2 ​​

• 根号里面，亦即方差（${\sigma }^2$）的简易口诀为：“平方和的平均”减去“平均的平方”。

总体为随机变量🎈

• 一随机变量$X$的标准差定义为：
  • $\sigma =\sqrt{E((X-E(X){)}^2)}=\sqrt{E(X^2)-(E(X){)}^2}$
• 须注意并非所有随机变量都具有标准差，因为有些随机变量不存在期望值。 如果随机变量$X$为$x_1,\cdots ,x_n$具有相同概率，则可用上述公式计算标准差。

样本的标准差🎈

• 在真实世界中，找到一个总体的真实的标准差并不实际。大多数情况下，总体标准差是通过随机抽取一定量的样本并计算样本标准差估计的。
• 从一大组数值$X_1,\cdots ,X_N$当中取出一样本数值组合$x_1,\cdots ,x_n:n<N$，常定义其样本标准差：
  • $s=\sqrt{\frac{1}{n-1}{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}$
• 样本方差$s^2$是对总体方差${\sigma }^2$的无偏估计。
• 之所以$s$中的分母要用$n-1$而不是像总体样本差那样用$n$，是因为$\left(x_i-\bar{x}\right)$的自由度为$n-1$，这是由于存在约束条件${\sum }_{i=1}^n\left(x_i-\bar{x}\right)=0$。

常见分布的期望和方差

• PT_常见分布的数学期望&方差_xuchaoxin1375的博客-CSDN博客

ref

• 标准差 (wikipedia.org)