3.7 零基础数学学习路径

如果你从零开始学 AI 数学，这份分阶段的学习路径会帮你高效地建立数学直觉。每个阶段都明确了目标、学习内容和 AI 应用场景。

3.7.1 第一阶段：矩阵运算（第 1 周，约 5 小时）

目标：理解”向量是数据的基本单位，矩阵乘法是 AI 的核心运算”。

学习内容：

• 标量、向量、矩阵、张量是什么，它们之间的关系
• 向量加减、标量乘法——直观，像”把两个箭头接在一起”
• 矩阵乘法——这是核心，花最多时间理解：y = xW 到底在做什么
• 转置：把矩阵的行变列，列变行。A^T 表示 A 的转置
• 点积：两个向量逐元素相乘再求和，是矩阵乘法的基本单元
• 向量的长度（L2 范数）和余弦相似度

AI 应用场景：

• Embedding 就是一个向量——768 维的数字代表一个词的含义
• 神经网络每一层是矩阵乘法——输入向量 × 权重矩阵 = 输出向量
• 注意力机制是向量之间算相似度——Q 和 K 做点积得到注意力分数
• RAG 检索是余弦相似度——查询向量和文档向量算余弦距离

推荐资源：

• 3Blue1Brown, “Essence of Linear Algebra”（前 5 集），YouTube 免费
• NumPy 官方教程中的矩阵运算部分
• Gilbert Strang, “Linear Algebra for Everyone” 前 3 章

3.7.2 第二阶段：导数与梯度（第 1 周，约 4 小时）

目标：理解”梯度下降在做什么”——不需要会算，但需要理解概念。

学习内容：

• 导数的含义：函数在某点的变化率，切线斜率
• 偏导数：多变量函数对单个变量的导数——“其他条件不变，只变这个变量，输出变化多少”
• 梯度的概念：所有偏导数组成的向量，指向函数上升最快的方向
• 梯度下降：每一步朝梯度的反方向走一小步
• 链式法则：嵌套函数的导数传递规则——“A 影响 B，B 影响 C，那么 A 对 C 的影响 = A 对 B 的影响 × B 对 C 的影响”
• 学习率：每一步走多大——太大跳过最优解，太小走太慢

AI 应用场景：

• 训练循环：前向传播（算 loss）→ 反向传播（算梯度）→ 参数更新（梯度下降）
• 链式法则 = 反向传播的数学基础——PyTorch 的 autograd 自动做这件事
• 微调时学习率设小（0.0001）：因为模型已经很好，大步修改会破坏它

推荐资源：

• 3Blue1Brown, “Essence of Calculus”（前 5 集），YouTube 免费
• 3Blue1Brown, “Neural Networks”（第 2 集：梯度下降），YouTube 免费
• Andrej Karpathy, “micrograd”（从零实现 autograd），GitHub + YouTube 视频

3.7.3 第三阶段：概率基础（第 2 周，约 5 小时）

目标：理解”AI 的输出是概率分布，不确定性是 AI 的内核”。

学习内容：

• 概率的定义：古典概率（频率）和贝叶斯概率（信念程度）
• 条件概率：P(A|B)——“已知 B 发生了，A 的概率是多少”
• 贝叶斯定理：P(A|B) = P(B|A)×P(A) / P(B)——这是 AI 决策的底层逻辑
• 概率分布：正态分布（自然界的默认分布）、伯努利分布（是/否）、分类分布（多选一）
• 期望和方差：刻画分布的”中心”和”离散程度”
• 最大似然估计（MLE）：找到最可能产生观测数据的参数
• 交叉熵：衡量两个概率分布的差距——这是分类问题的核心损失函数

AI 应用场景：

• 语言模型的输出是概率分布——每个可能的下一个 token 的概率
• Softmax 把任意数值变成概率——大数值变大概率，小数值变小概率
• 采样策略（Temperature、Top-P）是在概率分布上操作——控制”创造性”
• 交叉熵损失 = 模型预测分布和真实分布的差距——训练就是让这个差距越来越小
• 困惑度（Perplexity）= 2^交叉熵——语言模型的标准评估指标

推荐资源：

• StatQuest, “Probability vs Likelihood”（YouTube 视频，10 分钟讲清楚）
• 3Blue1Brown, “Bayes theorem”（YouTube 视频）
• 《概率论与数理统计》（浙大版）前 3 章——跳过证明，只看概念

3.7.4 第四阶段：优化与信息论（第 2 周，约 4 小时）

目标：理解”优化器怎么选、学习率怎么调、正则化在做什么”。

学习内容：

• 凸优化 vs 非凸优化：深度学习的损失函数是非凸的，但实践上梯度下降有效
• 优化器演进：SGD → SGD+Momentum → Adam → AdamW
• 学习率调度：Warmup、Cosine Annealing、Step Decay
• 正则化：L1（产生稀疏解）、L2（防止过拟合）、Dropout、早停
• 信息熵：衡量不确定性——“这个随机事件有多不确定”
• KL 散度：衡量两个分布的差距——不对称的”距离”
• 困惑度：语言模型的评估标准，来自交叉熵

AI 应用场景：

• 微调大模型：AdamW + Cosine Annealing + Warmup，峰值学习率 1e-4
• 从头训练：AdamW + Warmup + Cosine Annealing
• L1 正则化自动做特征选择——不重要的特征权重归零
• Dropout 防止过拟合——训练时随机关掉一部分神经元
• KL 散度在 RLHF 中约束策略不要偏离太远
• 困惑度下降是否平稳 = 训练是否健康

推荐资源：

• Sebastian Ruder, “An overview of gradient descent optimization algorithms”（博客文章，经典必读）
• Andrej Karpathy, “A Recipe for Training Neural Networks”（博客文章）
• d2l.ai（动手学深度学习），“优化算法”章节

3.7.5 第五阶段：综合应用（第 3-4 周，约 8 小时）

目标：把前面学的数学概念串联起来，在实际项目中应用。

实践项目：

1. 用 NumPy 从零实现一个简单的线性回归（理解矩阵乘法和梯度下降）
2. 用 PyTorch 训练一个 MLP 分类器（理解前向传播、反向传播、损失函数）
3. 微调一个预训练模型（理解学习率、优化器、正则化）
4. 搭一个 RAG 系统（理解 Embedding 向量和余弦相似度）

总计约 26 小时，覆盖 AI 应用层需要的全部数学。不需要学的内容：矩阵分解的证明过程、概率论的测度论基础、微分方程的解析解、凸优化的收敛性证明。

3.7.6 2026 年学习建议

不要做的事：

• 不要买一本 800 页的数学教材从头啃——你会中途放弃
• 不要在学会用框架之前手算矩阵乘法——本末倒置
• 不要试图理解所有数学推导——先建立直觉，再深入细节
• 不要学完所有数学再开始写代码——边学边用，学到哪用到哪

应该做的事：

• 看 3Blue1Brown 的视频建立直觉，然后用 NumPy/PyTorch 动手验证
• 遇到不懂的数学概念，先问”这个概念在 AI 中有什么用”，再决定要不要深入
• 用 Claude/ChatGPT 作为数学导师——“用直觉解释梯度下降，不要用公式”
• 参与 Kaggle 比赛或开源项目，在实际问题中应用数学

---

← 上一节：3.6 数学在 AI 各领域的应用地图 ｜ 下一节：3.8 2026年：你需要多少数学 →