5.4 信息论核心概念：熵、互信息与KL散度
5.4 信息论核心概念：熵、互信息与KL散度
信息论为定量分析信息的产生、传输、存储和处理提供了严格的数学框架。在人工智能领域，信息论的概念和方法不仅为理解通信和编码问题奠定基础，更重要的是，它们提供了衡量不确定性、信息内容和概率分布之间差异的基本工具，从而深刻影响了机器学习、深度学习、数据压缩和推断等多个分支。本节将系统阐述信息论中三个最核心且互相关联的概念：熵、互信息与Kullback-Leibler散度，并详细说明它们在人工智能模型构建与分析中的关键作用。
5.4.1 熵：不确定性的度量
熵是信息论中最基本的概念，它量化了一个随机变量的不确定性或“信息含量”。
定义：对于一个定义在有限字母表X\mathcal{X}X上的离散随机变量XXX，其概率质量函数为P(x)P(x)P(x)。香农熵定义为：
H(X)=−∑x∈XP(x)logP(x) H(X) = -\sum_{x \in \mathcal{X}} P(x) \log P(x)H(X)=−x∈X∑P(x)logP(x)
其中，对数通常以2为底，此时熵的单位是比特；或以自然常数eee为底，单位是纳特。该定义要求约定0log0=00 \log 0 = 00log0=0，因为limp→0+plogp=0\lim_{p \to 0^+} p \log p = 0limp→0+plogp=0。熵H(X)H(X)H(X)可以理解为，为了确定随机变量XXX的具体取值，平均所需提问的“是/否”问题的最小数量（在最优编码下）[1]。性质与解释：
- 非负性：H(X)≥0H(X) \ge 0H(X)≥0。等号成立当且仅当XXX以概率1取某个值（即确定性事件，无不确定性）。
- 上界：对于定义在∣X∣|\mathcal{X}|∣X∣个元素上的随机变量，H(X)≤log∣X∣H(X) \le \log |\mathcal{X}|H(X)≤log∣X∣。等号成立当且仅当XXX服从均匀分布。这意味着均匀分布具有最大不确定性。
- 连续随机变量的微分熵：对于连续随机变量XXX及其概率密度函数p(x)p(x)p(x)，微分熵定义为h(X)=−∫Xp(x)logp(x)dxh(X) = -\int_{\mathcal{X}} p(x) \log p(x) dxh(X)=−∫Xp(x)logp(x)dx。微分熵不具备离散熵的所有性质（例如，它可能为负值），但其相对大小和变化在许多分析中仍有意义。
联合熵与条件熵：
- 联合熵：衡量一对随机变量(X,Y)(X, Y)(X,Y)联合分布的不确定性：
H(X,Y)=−∑x,yP(x,y)logP(x,y) H(X, Y) = -\sum_{x, y} P(x, y) \log P(x, y)H(X,Y)=−x,y∑P(x,y)logP(x,y) - 条件熵：衡量在已知随机变量YYY取值条件下，随机变量XXX剩余的不确定性：
H(X∣Y)=∑yP(y)H(X∣Y=y)=−∑x,yP(x,y)logP(x∣y) H(X | Y) = \sum_{y} P(y) H(X | Y=y) = -\sum_{x, y} P(x, y) \log P(x | y)H(X∣Y)=y∑P(y)H(X∣Y=y)=−x,y∑P(x,y)logP(x∣y)
可以证明：H(X,Y)=H(Y)+H(X∣Y)=H(X)+H(Y∣X)H(X, Y) = H(Y) + H(X | Y) = H(X) + H(Y | X)H(X,Y)=H(Y)+H(X∣Y)=H(X)+H(Y∣X)。这被称为链式法则。
- 联合熵：衡量一对随机变量(X,Y)(X, Y)(X,Y)联合分布的不确定性：
5.4.2 互信息：变量间依赖关系的度量
互信息量化了两个随机变量之间相互依赖的程度，或者说，知道一个变量的值能为预测另一个变量的值提供多少信息。
定义：随机变量XXX和YYY之间的互信息定义为：
I(X;Y)=∑x∈X∑y∈YP(x,y)logP(x,y)P(x)P(y) I(X; Y) = \sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} P(x, y) \log \frac{P(x, y)}{P(x)P(y)}I<