信息熵原理与Python实现

信息熵理论

熵原理

• 熵是个物理名词，最初是从平衡态热力学中总结出来的，它表述为热量与绝对温度变化的商。它标志着热量转化为功的程度，泛指某些物质系统状态的一种量度。
  • 熵是物质系统混乱度的度量，在统计物理中，有如下关系式:$S=K\ln \Omega$
  • 这就是著名的玻尔兹曼关系式，$K$是玻尔兹曼常数，$\Omega$是系统的微观状态数，在宏观条件不变的情况下，由大量粒子(原子、分子)构成的系统中，熵就表示粒子之间无规则的排列程度，或者说，表示系统的紊乱程度，当系统处于平衡时，微观状态数越多，系统越“混乱”，熵就越大，否则，熵就越小。
  • 从微观意义上讲，熵是物质系统无序性和混乱度的量度。玻尔兹曼关系式被称为只有牛顿运动定律和爱因斯坦质能关系式才能与之媲美的公式，这就是统计力学熵。
• 信息是表示事物存在状态及运动体系的确定程度。它只有在相互作用的时候才能表现出来，通过它的运动状态，人们可以对它的状态进行表示。人们通过各种探测工具来提取信息，然后运用这些信息来对事物的存在状态进行度量也就是通过熵的形式对信息进行量化和度量。
  • 1929年，甸牙利科学家斯依兰德(L Szilard)提出了熵与信息不确定性的关系，进一步拓宽了熵的内涵。
  • 1948年，贝尔实验室的香农(C Shannon) 对前人的成果予以总结，强调了“信息量”这个概念。阐述了许多重要定理，把信息熵与统计力学熵概念相联系，把信息定理看作热力学第二定律在通信理论中的特殊形式，使信息熵成为信息论的一个正统的分支。

信息熵

1. 信息熵：Shannon把信息量作为信息论的中心概念，信息中排除了冗余后的平均信息量称为“信息熵”，即香农熵。

2. 单个离散随机变量$X$的熵$H(X)$的是对其平均不确定度的度量

   • 信息熵¹的计算公式：$H(X)=-{\sum }_{x_i\in \Theta }p\left(x_i\right)\log p\left(x_i\right)=-E\left[\log p\left(x_i\right)\right]$
   • $X$代表取值于$\Theta$的随机变量
   • 概率质量函数 p ( x i ) = P r { X = x i } , x i ∈ Θ p(x_{i})=P_{r}\left\{X=x_{i}\right\},x_{i}\in \Theta p(xi​)=Pr​{X=xi​},xi​∈Θ
   • $E$代表期望算子
   • 显然当$p=0$时，这里有$p\log p=0$

3. 对于随机事件$X$，其信息熵的计算公式为：$H(X)=-{\sum }_{i=1}^n{p}_i\log p_i$

   • 用$n$代表$X$的不同种离散取值，$i=1,2,3,\dots ,n$
   • $p_i$代表事件$x_i$发生的概率
   • $log$代表以$2$或$e$为底的对数

4. 三个性质

   • 单调性，发生概率越高的事件，其携带的信息量越低；
   • 非负性，信息熵可以看作为一种广度量，非负性是一种合理的必然；
   • 累加性，即多随机事件同时发生存在的总不确定性的量度是可以表示为各事件不确定性的量度的和，这也是广度量的一种体现。

Python实现

import math
import numpy as np
from collections import Counter

def Entropy(X):
    """
    计算离散型变量的信息熵/香农熵, 信息熵越大, 数据的不确定性越大
    Parameters
    ----------
    X : {ndarray} of (n_samples,)
        Data
    
    Returns
    -------
    entropy : float
        Entropy of X
    """

    counts = len(data) # 总数据量
    counter = Counter(data) # 每个离散变量出现的次数
    prob = [i[1]/counts for i in counter.items()] #计算每个随机变量发生的概率的p
    shannon = - sum([i*math.log(i) for i in prob]) # 计算信息熵
    return shannon
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

data = np.array([2,3,4,1,1,3,4,5,6,2,1,3,4,5,5,6,7,3,2,4,4,2])
shannon_entropy = Entropy(data)
print("信息熵为：", shannon_entropy)
>>> 信息熵为： 1.8585191558920355
1
2
3
4

---

1. Shannon C E, A mathematical theory of communication, The Bell System Technical Journal, 1948, 27(3): 397–423. ↩︎