22、信息理论：经典与量子信息熵解析

信息理论：经典与量子信息熵解析

1. 经典信息与香农熵

信息究竟是什么？20世纪40年代中期，美国数学家克劳德·香农着手为信息的数学理论奠定坚实基础。我们借助Alice和Bob的通信场景来理解。假设Alice只能发送由字母A、B、C和D编码的四种不同消息，各字母含义如下：
| 符号 | 含义 |
| ---- | ---- |
| A | “我现在感到悲伤” |
| B | “我现在感到愤怒” |
| C | “我现在感到快乐” |
| D | “我现在感到无聊” |

Bob仔细记录每个字母出现的频率。通过观察Alice发出的N条连续消息，他统计出字母A出现$N_A$次，字母B出现$N_B$次，字母C出现$N_C$次，字母D出现$N_D$次，且$N_A + N_B + N_C + N_D = N$。由此，Bob得出每个字母出现的概率分别为：
$p(A) = \frac{N_A}{N}$，$p(B) = \frac{N_B}{N}$，$p(C) = \frac{N_C}{N}$，$p(D) = \frac{N_D}{N}$。

这个将每个基本符号与其概率关联起来的表格，就是源的概率分布函数（简称pdf）。概率分布可能有不同的形式，例如：
-常数分布：若Alice总是快乐（或至少对Bob这么说），则pdf为$p(A) = 0$，$p(B) = 0$，$p(C) = 1$，$p(D) = 0$。在这种情况下，Bob能确定下一个收到的符号是C，C不带来任何新信息，其信息内容为零。
-均匀分布：若Alice情绪多变且完全