熵 熵的简单理解和实例

熵 熵的简单理解和实例

• 熵是信息量，越大越混乱，越小越确定

1. 熵的由来

假设两个相互独立随机变量，x,y的概率分布分别为p(x),p(y)。那么联合概率分布：

$$P(x,y)=p(x)\cdot p(y)$$

熵表示信息量，随机变X``Y相互独立，取值（x,y）的信息量应该是加法，即

$$h(x,y)=h(x)+h(y)$$

所以我们很自然去想取log，这样统计学就和信息量建立了联系。

所以，定义信息量：

$$h(x)=-lnp(x)$$

• 底是e还是2都可以，不影响逻辑。通信领域常用2，机器学习中常用e.
• 应为P(x)<=1 所以去负号让h(x)>=0,熵毕竟表示信息量，非负数更符合逻辑

---

2 熵的定义和实例

上面只考虑随机变量取一个值情况，如果取值有n种情况，熵定义为：

H ( p ) = E p [ − l n P ( x ) ] = − ∑ i