1 概率公式

条件概率：

全概率公式：

贝叶斯公式(Bayes)：

2 贝叶斯公式

2.1  贝叶斯公式带来的思考

给定某些样本，在这些样本中计算某结论出现的概率，即

贝叶斯公式

样本给定，则对于任何是常数，仅为归一化因子。

：忽略

：若这些结论的先验概率相等（或近似），则可以由此推导。

2.2 贝叶斯公式的应用

金条问题：

设这三个箱子为B=1,B=2,B=3， 两块贵金属为M=G(金条)，M=S(银条)

所以已知：

问题就转化为求

解答：

 2.3 贝叶斯网络

• 把某个研究系统中涉及到的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。
• 贝叶斯网络(Bayesian Network)，又称有向无环图模型，是一种概率图模型之一，根据概率图的拓扑结构，考察一组随机变量及其组条件概率分布。
•  概率图模型分为马尔可夫网络模型（无向图）和贝叶斯网络模型（有向图）。
• 一般而言，贝叶斯网络的有向无环图中的节点表示随机变量，它们可以是可观察到的变量，或隐变量、未知参数等。连接两个节点的箭头代表此两个随机变量是具有因果关系(或非条件独立)。若两个节点间以一个单箭头连接在一起，表示其中一个节点是“因(parents)”，另一个是‘果(children)”，两节点就会产生一个条件概率值。
• 一个简单的贝叶斯网络

2.4 全贝叶斯网络

每一对结点之间都有边连接

举例说明：当K=5时

 2.5 "正常"的贝叶斯网络

• 有些边缺失
• 如下图所示：直观上独立，在给定条件下独立
•  的联合分布为：

 

举例说明：

例一：

由于呼吸困难（D）所造成的原因有肺癌（C）和支气管炎（B），所以才有上表（CPD）。

 例二：

 全部随机变量的联合分布为：

实际上，如果需要求联合分布，仅需给出拓扑图，以及各个随机变量之间的概率分布表即可。

2.6 “特殊”的贝叶斯网络

 通过贝叶斯网络判定条件独立：

（1）情况一：tail-to-tail

由图可看出：

所以：

又因为：

所以：

即在c给定条件下，a和b被阻断，是独立的。

 （2）情况二：head-to-tail

由于

所以有：

即在c给定条件下，a和b被阻断，是独立的。

 （3）情况三：head-to-head

由于

 所以有：

从而：

即在c未知的条件下，a和b被阻断，是独立的。

2.7  将上述结点推广至结点集

 ps:有D-separation可知，在给定的条件下，的分布和条件独立。即：的分布状态只和有关，和其他变量条件独立，这种顺次演变的随机过程模型，叫做马尔科夫模型。

• 隐马尔科夫模型(HMM,Hidden Markov Model)可用标注问题，在语音识别、NLP、生物信息、模式识别等领域被实践证明是有效的算法。
• HMM是关于时序的概率模型，描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。
• 隐马尔科夫模型随机生成的状态的序列，称为状态序列；每个状态生成一个观测，由此产生的观测随机序列，称为观测序列。序列的每个位置可看做是一个时刻。空间序列也可使用该模型，如分析DNA。

2.8 贝叶斯网络的用途