过拟合与欠拟合 (Overfitting & Underfitting)

一句话理解

过拟合 = 死记硬背训练数据,泛化能力差; 欠拟合 = 连训练数据都没学好,模型能力不足。两者都是模型学习失败的表现,需要不同的策略应对。

零基础比喻

检测方法

训练集 vs 验证集 Loss 曲线

过拟合的典型特征:

• 训练loss持续下降,验证loss先降后升(形成”U形”或”对勾形”)
• 训练loss远低于验证loss
• 训练集准确率接近100%,验证集准确率停滞不前

欠拟合的典型特征:

• 训练loss和验证loss都高,且差距不大
• 两条曲线都趋于平缓但仍在高位
• 训练集准确率本身就不高

学习曲线诊断表

解决方案对比

应对过拟合的方法

应对欠拟合的方法

偏差-方差权衡 (Bias-Variance Tradeoff)

偏差-方差分解:

• 模型复杂度低: 高偏差,低方差(欠拟合)
• 模型复杂度高: 低偏差,高方差(过拟合)
• 最优复杂度: 偏差和方差之和最小

2026年视角: 过参数化模型的”双下降”现象

经典偏差-方差权衡认为模型太大(参数远多于样本)会过拟合。但现代深度学习观察到了双下降 (Double Descent) 现象:

解释: 过参数化模型通过隐式正则化(如SGD的隐式偏好)找到了泛化能力好的解。这也是为什么GPT-4等超大模型虽然有海量参数但不过拟合的原因之一。

相关笔记

• 第5章 · 模型评估与特征工程 — 完整的模型评估方法体系
• 第6章 · 神经网络基础 — 神经网络中的正则化技术
• 迁移学习 (Transfer Learning) — 预训练模型微调的过拟合风险
• 归一化 (Normalization) — BatchNorm/LayerNorm的隐式正则化效果
• 第4章 · 机器学习核心算法 — 经典ML中的偏差-方差分析

来源

• Hastie et al., “The Elements of Statistical Learning” (2009) — https://hastie.su.domains/ElemStatLearn/
• Srivastava et al., “Dropout: A Simple Way to Prevent Neural Networks from Overfitting” (2014) — https://jmlr.org/papers/v15/srivastava14a.html
• Belkin et al., “Reconciling modern machine-learning practice and the classical bias-variance trade-off” (2019, Double Descent) — https://www.pnas.org/doi/10.1073/pnas.1903070116
• Andrew Ng, “Machine Learning Yearning” — https://www.deeplearning.ai/programs/
• Goodfellow et al., “Deep Learning” (Chapter 7: Regularization) — https://www.deeplearningbook.org/