信息论复习笔记（1）：信息熵、条件熵，联合熵，互信息、交叉熵，相对熵

迈不过友情╰ 2022-05-20 07:56 327阅读 0赞

### 文章目录 ###

*   *   *  1.1 信息和信息的测量
         *   *   *  1.1.1 什么是信息
                 *  1.1.1 信息怎么表示
         *  1.2 信息熵
         *  1.3 条件熵和联合熵
         *   *  The Chain Rule (Relationship between Joint Entropy and Conditional Entropy)
         *  1.4 互信息
         *  1.5 相对熵和交叉熵

### 1.1 信息和信息的测量 ###

##### 1.1.1 什么是信息 #####

信息是对接收者来说是一种**不确切**的知识，可以认为是一种**不确定性的**度量。比如下面的例子，假设随机变量 X= ‘出生年份’：

1) I will be one year older next year. ----> No information
    2) I was born in 1993.  ----> little information
    3) I was born in 1990s. ---->More information

可见，**信息量**与**随机变量可能值的数量**相关。随机变量能取到的值越多，代表事件的**不确定度**越大，包含的信息越多。*不确定度越大，信息量越多*

##### 1.1.1 信息怎么表示 #####

例如，一个班有30个学生，我们要用一个二进制序列区分他们，需要多少bits？

l o g 2 30 = 4.907 b i t s log\_2 30 = 4.907 bits log230=4.907bits

所以至少需要5个bits才能代表每个学生

### 1.2 信息熵 ###

在通信系统中，**信息熵用来表示平均每符号携带多少比特（bit）信息**，信息熵的单位是 bit/symbol(比特每符号)。其背景如下：

我们需要把一个信源符号，转化成一个0-1的二进制比特形式，那么需要多少个二进制比特位，才能表达这个通信符号的所有信息呢？

上文说到，信息代表不确定性，与事件的概率相关。那么假设一个信源有5种可能的符号，记为 x 1 , x 2 , x 3 , x 4 , x 5 x\_1,x\_2,x\_3,x\_4,x\_5 x1,x2,x3,x4,x5, 并且每个符号出现的概率分别为 P ( x 1 ) , P ( x 2 ) , P ( x 3 ) , P ( x 4 ) , P ( x 5 ) P(x\_1), P(x\_2),P(x\_3),P(x\_4),P(x\_5) P(x1),P(x2),P(x3),P(x4),P(x5),  
所以**熵**(平均每比特携带的信息量)为：  
 H ( X ) = E \[ l o g 2 P ( X ) − 1 \] = ∑ i = 1 5 P ( x i ) ∗ l o g 2 P ( x i ) − 1 H(X) = E \[ log\_2 P(X)^\{-1\} \] = \\sum\_\{i=1\}^\{5\}P(x\_i) \*log\_2P(x\_i)^\{-1\} H(X)=E\[log2P(X)−1\]=∑i=15P(xi)∗log2P(xi)−1

### 1.3 条件熵和联合熵 ###

联合熵上与**联合分布**相关。联合熵表示为：  
 H ( X , Y ) = − ∑ x ϵ X ∑ y ϵ Y P ( X , Y ) l o g 2 P ( X , Y ) H(X,Y ) = - \\sum\_\{x\\epsilon X\}\\sum\_\{y\\epsilon Y\}P(X,Y) log\_2 P(X,Y) H(X,Y)=−∑xϵX∑yϵYP(X,Y)log2P(X,Y)  
条件熵上与**条件分布**及**联合分布**相关。条件熵表示为：  
 H ( X ∣ Y ) = − ∑ x ϵ X ∑ y ϵ Y P ( X , Y ) l o g 2 P ( X ∣ Y ) H(X|Y ) = - \\sum\_\{x\\epsilon X\}\\sum\_\{y\\epsilon Y\}P(X,Y) log\_2 P(X|Y) H(X∣Y)=−∑xϵX∑yϵYP(X,Y)log2P(X∣Y)

#### The Chain Rule (Relationship between Joint Entropy and Conditional Entropy) ####

链式法则：  
 H ( X , Y ) = H ( X ∣ Y ) + H ( Y ) = H ( X ) + H ( Y ∣ X ) H(X,Y ) = H(X|Y ) + H(Y) = H(X) + H(Y|X) H(X,Y)=H(X∣Y)\+H(Y)=H(X)\+H(Y∣X)

### 1.4 互信息 ###

互信息为**熵**减去**条件熵**。  
 I ( X , Y ) = H ( Y ) − H ( Y ∣ X ) = H ( X ) − H ( X ∣ Y ) I(X,Y ) = H(Y) - H(Y|X ) = H(X) - H(X|Y) I(X,Y)=H(Y)−H(Y∣X)=H(X)−H(X∣Y)  
互信息为 **熵 的和**减去 **联合熵**  
 I ( X , Y ) = H ( Y ) + H ( X ) − H ( X , Y ) I(X,Y ) = H(Y) + H(X ) - H(X,Y) I(X,Y)=H(Y)\+H(X)−H(X,Y)

上诉过程可以用图加深理解：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Byb21pc2VqaWE_size_16_color_FFFFFF_t_70]  
[通俗理解][Link 1]：一个变量A对变量B不确定性的削弱程度。  
互信息是指是两个随机变量之间的**关联程度**，即给定一个随机变量后，**另一个随机变量不确定性的削弱程度**，因而互信息取值最小为0，意味着给定一个随机变量对确定一另一个随机变量没有关系，最大取值为随机变量的熵，意味着给定一个随机变量，能完全消除另一个随机变量的不确定性。  
[互信息新词发现][Link 2]  
[左右熵][Link 3]  
某词出现的情况下，其左边词和右边词的搭配越丰富，效果越好。  
互信息，

### 1.5 相对熵和交叉熵 ###

[相对熵和交叉熵][Link 4]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Byb21pc2VqaWE_size_16_color_FFFFFF_t_70]: /images/20220520/fb2bf55a8d8e49bfaa54dc475dc1253b.png
[Link 1]: https://www.zhihu.com/question/24059517
[Link 2]: https://blog.csdn.net/Jemila/article/details/78027240
[Link 3]: https://www.jianshu.com/p/e9313fd692ef
[Link 4]: https://blog.csdn.net/promisejia/article/details/80310780