数学基础之概率论1

活动地址：CSDN21天学习挑战赛

概率论

随机变量

随机变量是随机取得不同值的变量。

比如，骰子有六个面，分别是1到6, 即[1,6]是随机变量x的取值；硬币的正反面，明天的天气，这些事离散的随机变量，
可以认为是变量+不确定值是什么+确定可能的值是什么（不然怎么求期望）

概率分布

概率分布是描述随机变量取得不同值的可能性。

随机变量有离散和连续两种，对应着两种概率分布。

离散型随机变量

离散型随机变量的概率分布用概率质量函数（probability mass function, PMF）来描述。不同的随机变量有不同的概率质量函数，用$ x \sim p(x) $, 即需要知道x的不同取值对应的可能性，所有可能性的和为1，即 $\sum P(x=k)$.如二项分布， $x \sim b(n,p) 或 X \sim B(n,p) $,所有可能性之和 ∑ P ( x = k ) = ∑ k n ( k n ) p k ⋅ ( 1 − p ) n − k \sum{P(x=k)} =\sum^n_k (kn)

p^k \cdot (1-p)^{n-k} ∑P(x=k)=k∑n​(kn​)pk⋅(1−p)n−k。

连续型随机变量

连续型随机变量的概率分布用概率密度函数（probability density function, PDF）来描述。即$p(x)$,满足：

• p的定义域为x为所有可能状态的集合
• p>=0
• $\int p(x)dx=1$

边缘分布

联合分布率，（joint distribution function）亦称多维分布函数：是多个随机变量（全集）的概率分布，如二元函数，$P(x,y)$
边缘分布：某个子集的分布。

离散型随机变量的边缘分布：$$\forall x\in X,P(X=x)=\sum _{y}P(X=x,Y=y)$$
连续型随机变量的边缘分布：$$p(x)=\int p(x,y)dy$$

离散用求和，连续用积分。

条件概率

基础表达式：
$$P(Y=y|X=x)=\frac{P(Y=y,X=x)}{P(X=x)}$$

链式表达式，也成为乘法法则：
$$P(x^{(1)},...,x^{(n)})=P(x^{(1)}){⨿}_{i=2}^{n}P(x^{(i)}|x^{(1)},...,x^{(n)})$$
常用：
$$P(Y=y,X=x)=P(X=x)P(Y=y|X=x)$$
$$P(Z=z,Y=y,X=x)=P(X=x)P(Y=y|X=x)P(Z=z|Y=y,X=x)$$

期望、方差、协方差

期望

函数$f(x)$关于分布$P(x)$的期望为
离散：${\mathbb{E}}_{x\sim P}[f(x)]={\sum }_{x}P(x)f(x)$
连续：${\mathbb{E}}_{x\sim P}[f(x)]=\int P(x)f(x)dx$

方差

$Var(f(x))=\mathbb{E}[(f(x)-\mathbb{E}[f(x)]{)}^2]$

协方差

$Cov(f,g)=\mathbb{E}[(f-\mathbb{E}[f])(g-\mathbb{E}(g))]$

协方差矩阵：$n\times n$ 矩阵，$Cov({\mathrm{X}}_{i,j})=Cov(x_i,y_i)$, 矩阵的对角元是方差。

常用分布

高斯分布

也称为正态分布(Normal distribution)。
其概率密度函数为： $N(\mu ,{\sigma }^2)=\sqrt{\frac{1}{2\pi {\sigma }^2}}exp(-\frac{1}{2{\sigma }^2}(x-\mu {)}^2)$

指数分布

P ( λ ) = { λ e λ x , i f x > 0 0 , i f x ≤ 0 P(\lambda)={λeλx,ifx>00,ifx≤0

P(λ)={λeλx,ifx>00,ifx≤0​

Laplace分布

$P(\mu ,\lambda )=\frac{1}{2\lambda }{e}^{-\frac{|x-\mu |}{\lambda }}$

刻画 Laplace分布和正态分布：

import matplotlib.pyplot as plt
import numpy as np
import math
pi=math.pi
def laplace_function(x, lamb):
    return (1/(2*lamb)) * np.e**(-1*(np.abs(x)/lamb))
def norm_function(x, mu,sigma):
    return math.sqrt(1/(2*pi*sigma**2))*math.exp(-(x-mu)**2/(2*sigma^2))
x = np.linspace(-5,5,10000)
l1 = [laplace_function(_,1) for _ in x]
l2 = [laplace_function(_,0.5) for _ in x]
n1 = [norm_function(_,1,5) for _ in x]
n2 = [norm_function(_,-1,3) for _ in x]

plt.plot(x, l1, color='r', label="laplace:1")
plt.plot(x, l2, color='g', label="laplace:0.5")
plt.plot(x, n1, color='b', label="norm:(1,5)")
plt.plot(x, n2, color='y', label="norm:(-1,3)")

plt.title("probability density function")
plt.legend()
plt.show()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

贝叶斯原理

$P(x|y)=\frac{P(x)P(y|x)}{P(y)}$