模式识别——贝叶斯决策理论

须知

所有内容在分类问题下讨论。

基本原则

定义

• $X$为观测
• $Y$为状态
• $g(x)$用$x$对$y$进行预测
• 预测损失为$L[g(x),i]$

风险$Risk$为损失的期望，即对所有观测造成的损失的平均，即对大量观测判别的损失最低：
$$\begin{gathered} Risk=E_{X,Y}[L(X,Y)]= \\ \int \sum _{i=1}^M{P}_{Y,X}(i,x)L[g(x),i]dx \end{gathered}$$

通过条件概率展开成如下形式：
$$\begin{gathered} Risk=E_X[R(x)] \\ =\int P_X(x)R(x)dx \end{gathered}$$

其中$R(x)$为条件风险，即给定观测下的风险：
$$R(x)=\sum _{i=1}^M{P}_{Y|X}(i\mid x)L[g(x),i]$$

我们的目标就是找一个最优的判别函数，在观测$x$给定的情况，使得对状态的预测损失最小。

$$g^{\ast }(x)=\arg \underset{g(x)}{\min }R(x)$$

gpt给出的使用条件风险代替全局风险的原因，可以参考：

0-1损失下的BDR

通过推导可以得出结论,0-1损失下的BDR就是MAP（极大后验准则），这是非常符合认知的：
$$g^{\ast }(x)=argma{x}_i{P}_{Y|X}(i\mid x)$$
对应的损失为：
$$R^{\ast }=\int P_{Y,X}(y\ne g^{\ast }(x),x)dx$$

MAP（极大后验）

考虑二分类问题，使用极大后验可以表示为：

使用贝叶斯公式对极大后验展开，由于展开后的分母相同可以约掉（观测x已知）,可以得到:

log trick

两边取对数等价，可以将决策函数化为以下形式，以简化计算：
总而言之：