#机器学习--补充数学基础--信息论

引言

        本系列博客旨在为机器学习(深度学习)提供数学理论基础。因此内容更为精简，适合二次学习的读者快速学习或查阅。

---

1、自信息（self-information）

        自信息是为了衡量某件事情发生所包含的信息多少。其定义如下： $$I(x)=-logP(x)$$         表示若一件事发生的概率越低，那么其包含的信息量也就越大。如果是以 $e$ 为底数，那么 $I(x)$ 的单位是奈特（nats），如果是以 $2$ 为底数，那么 $I(x)$ 的单位是比特（bit）或香农。

---

2、香农熵

        香农熵用来衡量整个概率分布中的不确定性总量，即遵循这个分布的事件所产生的期望信息总量。其定义如下：$$H(x)=E_{x\sim P}[I(x)]$$        若是连续型随机变量，香农熵被称为微分熵。

---

3、KL散度

        若对于同一随机变量 $\text{x}$ 有两个单独的概率分布 $P(\text{x})$ 和 $Q(\text{x})$ ，可以使用KL散度来衡量这两个分布的差异。其定义如下：$$D_{KL}(P||Q)=E_{\text{x}\sim P}\left[log\frac{P(x)}{Q(x)}\right]=E_{\text{x}\sim P}[logP(x)-logQ(x)]$$

        特性：
        1）非负性。
        2）非对称： $D_{KL}(P||Q)\ne D_{KL}(Q||P)$

---

4、交叉熵

        定义如下：$$H(P,Q)=H(P)+D_{KL}(P||Q)=-E_{\text{x}\sim P}logQ(x)$$