Ch03 AI数学修订于 二〇二六年七月二日
3.6 数学在 AI 各领域的应用地图
不同的 AI 领域对数学的需求不同。这张地图帮你了解”学什么方向需要用哪些数学”。
3.6.1 计算机视觉（CV）需要的数学
| 数学领域 | 具体应用 | 重要程度 |
|---|---|---|
| 线性代数 | 卷积操作本质是矩阵乘法；图像是矩阵/张量；特征提取（SIFT、HOG）依赖矩阵运算；Transformer 在 ViT（Vision Transformer）中全面应用 | 极高 |
| 微积分 | 反向传播训练 CNN；梯度下降优化；损失函数求导 | 高 |
| 概率统计 | 数据增强的随机性；Softmax 分类；目标检测中的 NMS（非极大值抑制）的概率解释 | 中 |
| 信息论 | 交叉熵损失；VAE 中的 KL 散度 | 中 |
| 优化理论 | AdamW 训练 CNN/ViT；学习率调度；混合精度训练 | 高 |
3.6.2 自然语言处理（NLP）需要的数学
| 数学领域 | 具体应用 | 重要程度 |
|---|---|---|
| 线性代数 | Embedding 是向量；注意力机制是矩阵乘法；Transformer 全部基于矩阵运算；LoRA 微调依赖 SVD 的直觉 | 极高 |
| 概率统计 | 语言模型输出是概率分布；Softmax；采样策略（Temperature、Top-P、Top-K）；困惑度评估 | 极高 |
| 微积分 | 反向传播（链式法则）；梯度下降；RLHF 中的策略梯度 | 高 |
| 信息论 | 交叉熵损失；困惑度；KL 散度（RLHF 中约束策略更新）；知识蒸馏 | 高 |
| 优化理论 | AdamW 训练；Warmup + Cosine Annealing；混合精度（FP16/BF16）；梯度累积；梯度裁剪 | 高 |
3.6.3 强化学习（RL）需要的数学
| 数学领域 | 具体应用 | 重要程度 |
|---|---|---|
| 概率统计 | 马尔可夫决策过程（MDP）；策略是概率分布；值函数是期望；蒙特卡洛方法；重要性采样（PPO 核心） | 极高 |
| 微积分 | 策略梯度定理；值函数梯度；TRPO/PPO 中的约束优化 | 高 |
| 线性代数 | 状态表示是向量；值函数近似是矩阵乘法 | 中 |
| 信息论 | 策略熵正则化（Soft Actor-Critic）；KL 散度约束（PPO/TRPO） | 中 |
| 优化理论 | 策略梯度优化；值函数优化；双重网络（Double Q-Learning） | 高 |
3.6.4 生成模型需要的数学
| 数学领域 | 具体应用 | 重要程度 |
|---|---|---|
| 概率统计 | 概率分布建模；高斯分布（Diffusion 前向加噪）；重参数化技巧（VAE）；GAN 的博弈论框架 | 极高 |
| 微积分 | 梯度下降训练；对抗训练（GAN 的 min-max 优化）；得分匹配（Score Matching） | 高 |
| 线性代数 | 潜在空间是向量空间；扩散模型的 U-Net 基于卷积；注意力机制在 DiT 中的应用 | 高 |
| 信息论 | VAE 中的 KL 散度；互信息最大化 | 中 |
| 微分方程 | 扩散模型可以用随机微分方程（SDE）和常微分方程（ODE）描述；连续时间扩散模型 | 中（进阶） |
总结：无论你选哪个方向，线性代数 + 概率统计 + 微积分这三门是共同基础。优化理论和信息论次之，微分方程和更高级的数学只在特定方向需要。
← 上一节：3.5 信息论基础 ｜ 下一节：3.7 零基础数学学习路径 →
关联5
知识图谱局部图谱 · 点节点跳转