概率论基础

一、概率论基础

后验概率与条件概率区别：
后验概率就是一种条件概率，但是与其它条件概率的不同之处在于，后验概率限定了目标事件为隐变量取值（广义上的隐变量主要就是指“不能被直接观察到，但是对系统的状态和能观察到的输出存在影响的一种东西”），而其中的条件为观测结果。一般的条件概率，条件和目标事件都可以是任意的，条件和目标事件是可以没有任何关系的。

贝叶斯公式就是由先验概率求后验概率的公式
举例区分普通条件概率与后验概率的区别：
1）那么如果我们出门之前我们听到新闻说今天路上出了个交通事故，那么我们想算一下堵车的概率，这个就叫做条件概率 。也就是P(堵车|交通事故)。这是有因求果。
2）如果我们已经出了门，然后遇到了堵车，那么我们想算一下堵车时由交通事故引起的概率有多大，那这个就叫做后验概率 （其实也是条件概率，但是通常习惯这么说） 。也就是P(交通事故|堵车)。这是有果求因。

随机事件和随机变量的区别是（A,B,C表示实例，X,Y,Z表示随机变量）：
随机事件：投掷一枚硬币，结果是正面朝上。
随机变量：将随机现象的结果用变量来表示，比如说投掷硬币正面朝上用X=0来表示，反面朝上用X=1来表示。

样本空间：随机试验是对随机现象进行的实验和观察，随机试验的每一个可能结果称为样本点；样本空间是指所有样本点构成的。

整个样本空间的概率和应该等于1，即随机变量的所有可能的取值的概率和为1

二、条件概率的三大公式

条件概率中的条件就代表观测变量，观测变量意思就是这个变量的取值是否已经定下来了。条件概率公式中的A和B这些符号都表示事件。

0.条件概率定义：

1.乘法公式

2.全概率公式

3.贝叶斯公式

三、独立性

1.独立性

2.条件独立性是概率图模型表示中最为重要的一个概念：

下图表示在给定C的条件下，A和B这两个变量是条件独立的，即已知赖床这个事件已经发生了，那么这个人是否熬夜就不会影响他是否迟到。由这个例子，我们可以根据条件独立性和联合概率分布链式法则推导得到贝叶斯网络定义里的联合概率表达形式的数学公式。

满足下图中以下任意一个条件，就能证明随便变量X和Y是条件独立的（第二个等式子表示的意思：给定Y和Z条件下的P(X)的概率等于给定Z条件下P(X)的概率）：

四、概率图模型常用的三个概念，对应概率图模型推理的三个任务

1.联合概率分布：指的是我们感兴趣的系统或者对象（X）包含了N个变量（即N个随机变量），这些变量分别取不同值的时候（每个随机变量可能的取值），它对应的概率值是多少：

2.边缘概率：边缘概率是指考虑联合概率分布的部分变量，其他不考虑的变量计算概率时要做求和边缘化，下图的红线中的式子就是对D和G这两个变量做求和边缘化。具体见下图公式：

3.最大后验概率状态：在联合概率分布里面，当每个变量分别取什么值的时候，使得联合概率分布的值最大。

五、概率影响的流动性

观测变量：变量的取值是否已经定下来了。
隐变量：变量取值未知。

六、概率图模型的表示、推理、学习

1.概率图模型的表示：是对不确定性问题进行建模的有效工具。解决的问题是如何在图上定义一个联合概率分布，以及如何把联合概率概率分布表示成一些局部因子连乘积的形式，为什么能够表示成这种形式。
2.概率图模型的推理：概率图模型的推理是在概率图模型表示的基础上做的，即图模型的结构和参数已经给定了，我们需要对图模型进行一定的推理计算。求边缘概率是指已知联合概率分布，求部分变量的边缘概率。求最大后验概率状态是指已知联合概率分布，求这个分布里的x取某个值的时候，使得这个联合概率分布的取值最大。
3.概率图模型的学习（对于复杂、缺乏专家经验的概率模型我们才需要去学习模型的结构和参数）：解决的问题是，给定训练数据，从训练数据中学习出图模型的结构（图模型的结构决定了图模型有哪些节点，以及哪些节点有边连接）和参数（图模型中边的权重）。下图中的D表示有M个训练样本，每个训练样本是N维的向量。

下图是关于贝叶斯网络的参数个数：