信息熵 (Information Entropy)

概述

信息熵（Information Entropy）是信息论的核心概念，由 Claude Shannon 于 1948 年提出。熵衡量一个随机变量的不确定性或信息量。在机器学习中，信息熵及其衍生概念（交叉熵、KL 散度）是理解损失函数、模型评估和信息理论的基础。几乎所有分类问题的损失函数（交叉熵损失）都源于信息熵的概念。

信息熵的定义

对于一个离散随机变量 $X$ ，其概率分布为 $P (X)$ ，信息熵定义为：

$H (X) = - \sum_{i = 1}^{n} P (x_{i}) lo g P (x_{i}) = E_{X \sim P} [- lo g P (X)]$

直观理解

低熵：分布集中（如 P=[0.99, 0.01]），不确定性低，H 约等于 0
高熵：分布均匀（如 P=[0.5, 0.5]），不确定性高，H 达到最大
熵的单位取决于对数的底数：log2 为 bits，log e 为 nats

核心衍生概念

交叉熵 (Cross-Entropy)

交叉熵衡量用分布 Q 来编码分布 P 所需的平均编码长度：

$H (P, Q) = - \sum_{i} P (x_{i}) lo g Q (x_{i})$

在机器学习中，P 是真实分布（ground truth），Q 是模型预测分布。交叉熵损失是分类任务的标准损失函数：

$L_{C E} = - \sum_{c = 1}^{C} y_{c} lo g \overset{y}{^}_{c}$

KL 散度 (Kullback-Leibler Divergence)

KL 散度衡量两个分布之间的差异，即用 Q 替代 P 所增加的编码开销：

$D_{K L} (P ∥ Q) = \sum_{i} P (x_{i}) lo g \frac{P ( x _{i} )}{Q ( x _{i} )} = H (P, Q) - H (P)$

关键性质：

$D_{K L} (P ∥ Q) \geq 0$ ，当且仅当 P=Q 时取等号
非对称： $D_{K L} (P ∥ Q) \neq = D_{K L} (Q ∥ P)$
不满足三角不等式，不是真正的”距离”

三者关系

概念	公式	含义	机器学习中的应用
信息熵 $H (P)$	$- \sum P lo g P$	真实分布的不确定性	数据的内在噪音水平
交叉熵 $H (P, Q)$	$- \sum P lo g Q$	用 Q 编码 P 的代价	分类损失函数
KL 散度 $D_{K L}$	$H (P, Q) - H (P)$	P 与 Q 的差异	模型蒸馏、VAE 正则化
条件熵 $H (Y ∥ X)$	$- \sum P (x, y) lo g P (y ∥ x)$	已知 X 后 Y 的不确定性	特征选择、决策树分裂
互信息 $I (X; Y)$	$H (Y) - H (Y ∥ X)$	X 和 Y 共享的信息量	特征重要性评估

在机器学习中的关键应用

1. 分类损失函数

多分类交叉熵损失（Categorical Cross-Entropy）：

$L = - \sum_{c = 1}^{C} y_{c} lo g \overset{y}{^}_{c}$

其中 $y_{c}$ 是 one-hot 真值， $\overset{y}{^}_{c}$ 是 softmax 输出概率。当模型预测完全正确时，损失为 0；预测完全错误时，损失趋近无穷。

2. 决策树分裂准则

信息增益（Information Gain）用于选择分裂特征：

$Gain (D, A) = H (D) - \sum_{v} \frac{∣ D _{v} ∣}{∣ D ∣} H (D_{v})$

选择使信息增益最大化的特征进行分裂，等价于选择使子节点熵加权和最小的特征。

3. 变分自编码器 (VAE)

VAE 的损失函数中的 KL 项用于约束隐变量分布接近标准正态分布：

$L_{V A E} = Reconstruction + β \cdot D_{K L} (q (z ∣ x) ∥ p (z))$

4. 知识蒸馏

在模型蒸馏中，KL 散度用于衡量学生模型输出与教师模型输出的差异：

$L_{K D} = D_{K L} (p_{t e a c h er} ∥ p_{s t u d e n t})$

常见分布的熵值

分布	熵公式	最大熵条件
伯努利分布 $B (p)$	$- p lo g p - (1 - p) lo g (1 - p)$	p=0.5 时最大
分类分布	$- \sum p_{i} lo g p_{i}$	均匀分布时最大
正态分布 $N (μ, σ^{2})$	$\frac{1}{2} lo g (2 π e σ^{2})$	方差越大熵越大
均匀分布 $U (a, b)$	$lo g (b - a)$	区间越大熵越大

来源

Shannon, C.E. (1948) - “A Mathematical Theory of Communication”: https://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf
Cover & Thomas (2006) - “Elements of Information Theory” (2nd Edition)
Goodfellow et al. (2016) - “Deep Learning” Chapter 3: Information Theory: https://www.deeplearningbook.org/contents/prob.html