Ch03 AI数学修订于 二〇二六年七月二日
3.5 信息论基础
信息论是 AI 的另一个数学基石。它回答”信息是什么”、“不确定性怎么量化”等基础问题。交叉熵、KL 散度等概念都来自信息论。
3.5.1 信息熵（Entropy）：衡量不确定性的标尺
信息熵回答一个问题：“这个随机事件有多不确定？”
数学定义：H(X) = -Σ p(x) × log(p(x))
直觉：
- 一个公平的硬币（p=0.5 正面，p=0.5 反面）：熵 = 1 bit。你完全不确定下一次是正面还是反面
- 一个偏心的硬币（p=0.99 正面，p=0.01 反面）：熵 ≈ 0.08 bit。你几乎确定下一次是正面，不确定性很低
- 一枚两面都是正面的硬币（p=1.0 正面）：熵 = 0。你确定下一次是正面，没有不确定性
熵的性质：
- 熵 >= 0，确定性事件熵为 0
- 均匀分布（所有结果等可能）的熵最大——因为不确定性最大
- 熵的单位是 bit（以 2 为底的对数）或 nat（以 e 为底的对数）
在 AI 中的应用：
- 决策树：ID3 和 C4.5 算法用信息增益（父节点熵 - 加权子节点熵）来选择最优分裂特征。信息增益越大，说明这个特征越能”消除不确定性”
- 强化学习：策略熵正则化鼓励策略保持一定的随机性，促进探索
- 语言模型：一个句子的熵越低，说明模型认为这个句子越”自然”。熵高的句子 = 模型很困惑
3.5.2 交叉熵（Cross-Entropy）：衡量两个分布的差距
交叉熵：用分布 q 来编码分布 p 时，需要多少 bits。
H(p, q) = -Σ p(x) × log(q(x))
关键性质：H(p, q) >= H(p)，当且仅当 p = q 时取等号。
直觉：真实分布是 p（比如图片的真实标签），你的模型预测分布是 q。交叉熵衡量的是”用 q 来描述 p 需要多少额外的 bits”。交叉熵越小，q 越接近 p。
在 AI 中的应用：分类模型的交叉熵损失函数直接来自这个定义。最小化交叉熵 = 让模型的预测分布 q 尽可能接近真实分布 p。
3.5.3 KL 散度（Kullback-Leibler Divergence）：衡量两个分布的”距离”
KL 散度是交叉熵减去信息熵：
KL(p || q) = H(p, q) - H(p) = Σ p(x) × log(p(x) / q(x))
关键性质：
- KL(p || q) >= 0，当且仅当 p = q 时取等号
- KL(p || q) ≠ KL(q || p)——KL 散度不对称！所以它不是真正的”距离”
- KL(p || q) 可以理解为”从 q 到 p 的信息损失”
在 AI 中的应用：
- 变分推断（Variational Inference）：最小化 KL(q(z|x) || p(z))，让近似后验接近先验——这是 VAE 的核心
- 知识蒸馏（Knowledge Distillation）：用大模型（教师）的输出分布作为软标签，让小模型（学生）去拟合。学生的损失函数包含 KL(教师分布 || 学生分布)——让学生模仿教师的输出分布
- RLHF（人类反馈强化学习）：PPO 训练中，用 KL 散度约束新策略不要偏离旧策略太远，防止奖励黑客（reward hacking）
- 模型对齐：防止微调后的模型在某个任务上过拟合而丢失通用能力——KL 散度可以约束模型不要偏离预训练权重太远
3.5.4 困惑度（Perplexity）：语言模型的标准评估指标
困惑度是语言模型最常用的评估指标，它直接来自交叉熵。
Perplexity = 2^(Cross-Entropy) = exp(H(p, q))
直觉：困惑度可以理解为”模型在每一步平均有多少个等可能的选项”。
- 困惑度 = 10：模型在预测下一个词时，平均在 10 个选项中犹豫——相当于从 10 个等可能的词中随机选
- 困惑度 = 1：模型完全确定下一个词是什么（完美预测）
- 困惑度 = 词汇表大小（比如 50000）：模型完全随机猜测
在 AI 中的应用：
- GPT 系列模型的训练和评估都报告困惑度
- 困惑度越低，模型越好——但困惑度不是线性的，从 100 降到 50 比从 20 降到 10 容易得多
- 困惑度只衡量模型对”自然文本”的建模能力，不衡量事实准确性、推理能力、安全性等
2026 年的现实：GPT-4 级别的模型在标准基准上的困惑度已经非常低，困惑度作为评估指标的区分度在下降。但它在训练阶段仍然是最重要的监控指标——困惑度下降是否平稳，直接反映了训练是否健康。
← 上一节：3.4 优化理论 — 让 AI 找到最优解 ｜ 下一节：3.6 数学在 AI 各领域的应用地图 →