概念-优化器详解

一句话理解

优化器是神经网络的”导航系统”——它决定模型参数往哪个方向调、调多大步，让损失函数值越来越小。Adam 是 2026 年最常用的优化器。

常见优化器

2026 年建议

• 默认用 AdamW：对大多数任务，“开箱即用”效果最好
• 大模型训练：通常用 AdamW，配合梯度累积和混合精度
• 追求极致泛化：做学术研究时，有时 SGD 的最终效果更好

相关笔记

• 学习率 (Learning Rate) — 学习率详解
• 6.10 反向传播：怎么让模型变好 — 反向传播原理
• 第6章 · 神经网络基础 — 神经网络基础

来源

• Kingma & Ba, “Adam: A Method for Stochastic Optimization”, 2014, https://arxiv.org/abs/1412.6980
• Loshchilov & Hutter, “Decoupled Weight Decay Regularization” (AdamW), 2017, https://arxiv.org/abs/1711.05101