信息量特点：就是排除可能越多，信息量就越大

几种正确的理解：

1.信息是排除不确定性的，等可能事件排除可能越多，信息量就越大

例如：明天天气假定是：【晴、阴、雨、雪】4种状态

你说明天是晴天，你排除了3种状态【阴、雨、雪】信息量为A

你说明天是坏天气，你排除了【晴】信息量为B

信息量A>信息量B

2.信息量也可以理解为正确信息的价值（近似），越是能预测小概率时间的信息价值越高，信息量就越大，对别人价值就越高。例如预测到了彩票，这个正确信息价值就高。如果你预测太阳每天东边升，大家都知道，价值低，概率大。

3.信息量越大，概率越小。理解：确认小概率事件需要的信息多。就是你的信息让小概率事件的概率变大。小概率事件--->让他100%发生需要的信息量就是该事件的信息量。

4.信息量≠" role="presentation" style="position: relative;">≠$\ne$数据量，但是特定环境：信息量=表达信息的数据量

当一个系统，保证信息传递数据量总体最小，也就是数据长度的期望最小，这时信息量=数据量

例如【晴、阴、雨、雪】 概率为【1/2,1/4,1/8,1/8】

这时候为了保证传递数据量最小，应该进行编码，晴天可能性最大，传递的次数可能最多，因此数据编码最短为1比特，因此【 晴、阴、雨、雪】依次为【1，2，3，3】编码可以是【 0，10，110，111】

信息量=表达信息的数据量=log(1/p)  (以2为底的对数)

可以理解为概率越大的编码越小，信息量越少

5.同一件事，必须环节越多，包含信息量越大。

几种错误理解：

1.信息量就是数据的长度。  错误！

2.信息越多，事件本身概率越大。错误！事件的信息量，是让它确认需要的信息。

确认事件A发生的信息量：=ln(1/p)     p为该事件A发生的概率

熵是信息的期望。