Ch05 评估与特征工程修订于 二〇二六年七月六日
偏差与方差 (Bias-Variance Tradeoff)
概述
偏差-方差权衡（Bias-Variance Tradeoff）是机器学习中最核心的理论困境之一。它描述了模型在拟合训练数据时面临的两种对立误差来源：偏差（Bias）衡量模型预测值与真实值的平均偏离程度，反映了模型的拟合能力；方差（Variance）衡量模型对训练数据微小变化的敏感程度，反映了模型的稳定性。这两者通常不可兼得，构成了模型复杂度的核心博弈。
数学定义
对于一个回归问题，假设真实函数为 ，训练集 上训练的模型为 ，则期望泛化误差可分解为：
其中：
- Bias^2：模型平均预测与真实值的偏差（平方）
- Variance：模型在不同训练集上的预测波动
- Irreducible Error：数据本身的噪声，无法通过模型改进消除
直观理解
| 模型复杂度 | 偏差 | 方差 | 表现 | 现象 |
|---|---|---|---|---|
| 太低（如线性模型拟合非线性数据） | 高 | 低 | 欠拟合 (Underfitting) | 训练集和测试集表现都差 |
| 适中 | 平衡 | 平衡 | 理想 | 训练集和测试集表现都较好 |
| 太高（如深度网络拟合小数据集） | 低 | 高 | 过拟合 (Overfitting) | 训练集表现极好，测试集表现差 |
偏差 vs 方差 对比表
| 维度 | 偏差 (Bias) | 方差 (Variance) |
|---|---|---|
| 定义 | 模型预测平均值与真实值的差距 | 模型预测在不同训练集上的波动幅度 |
| 反映 | 模型拟合能力（不足） | 模型稳定性（不足） |
| 典型表现 | 欠拟合 | 过拟合 |
| 训练误差 | 高 | 低 |
| 测试误差 | 高 | 高 |
| 模型复杂度 | 太简单 | 太复杂 |
| 解决方案 | 增加模型复杂度、更多特征 | 更多数据、正则化、集成 |
| 类比 | 射箭全部偏离靶心（系统性误差） | 射箭散布很广（随机误差） |
常见模型的偏差-方差特征
| 模型 | 偏差 | 方差 | 说明 |
|---|---|---|---|
| 线性回归 | 高 | 低 | 强假设（线性），对数据变化不敏感 |
| 决策树（浅） | 高 | 低 | 简单规则，表达能力有限 |
| 决策树（深） | 低 | 高 | 可拟合任意复杂函数，但对数据敏感 |
| KNN (K 大) | 高 | 低 | 平滑决策边界 |
| KNN (K 小) | 低 | 高 | 决策边界锯齿状，对噪声敏感 |
| 随机森林 | 低 | 中低 | Bagging 降低方差 |
| GBDT / XGBoost | 低 | 中 | Boosting 可同时降低偏差和方差 |
| 深度神经网络 | 极低 | 高 | 极强拟合能力，需要大量数据和正则化 |
打破经典权衡：2026 年的视角
传统观点认为偏差和方差不可兼得，但现代深度学习在一定程度上打破了这一规律：
- 双下降现象 (Double Descent)：在达到插值点（训练误差为 0）后，继续增加模型复杂度，测试误差可能再次下降。这挑战了经典的 U 形曲线。
- 过参数化 (Over-parameterization)：大模型的参数量远超训练样本数，但通过隐式正则化（如 SGD 的隐式偏好）仍能泛化良好。
- 预训练 + 微调：大规模预训练模型本身具有低偏差（强拟合能力），微调阶段通过有限数据适应，方差可控。
实际应用策略
| 问题 | 诊断 | 应对策略 |
|---|---|---|
| 高偏差（欠拟合） | 训练误差高 | 增加模型复杂度、增加特征、减少正则化、训练更久 |
| 高方差（过拟合） | 训练误差低但测试误差高 | 更多数据、数据增强、正则化（L1/L2/Dropout）、早停、集成学习 |
| 两者都高 | 训练和测试误差都高 | 数据质量问题、特征工程不足、模型选择不当 |
相关笔记
- 信息熵 (Information Entropy) - 信息论视角下的模型误差
- 集成学习 (Ensemble Learning) - Bagging 降低方差，Boosting 降低偏差
- 正则化 (Regularization) - 控制方差的核心工具
- 过拟合 (Overfitting) - 过拟合与高方差的关系
来源
- Geman, Bienenstock & Doursat (1992) - “Neural Networks and the Bias/Variance Dilemma”
- Hastie, Tibshirani & Friedman (2009) - “The Elements of Statistical Learning”: https://hastie.su.domains/ElemStatLearn/
- Belkin et al. (2019) - “Reconciling Modern Machine Learning and the Bias-Variance Trade-off” (Double Descent): https://arxiv.org/abs/1812.11118
- Neal et al. (2019) - “A Modern Take on the Bias-Variance Tradeoff”: https://arxiv.org/abs/1810.08591