索引 / 标签
#优化器
共 3 篇
- Ch06 神经网络基础
- Ch06 神经网络基础
学习率 (Learning Rate)
概述 学习率（Learning Rate, LR）是深度学习优化中最重要的超参数，没有之一。它控制着模型参数每次更新的步长大小，直接决定了模型能否收敛、收敛速度有多快、以及最终能达到的性能水平
约 5 分钟1,611 字 - Ch06 神经网络基础
梯度下降 (Gradient Descent)
梯度下降是神经网络训练的"导航系统"——沿着损失函数梯度的反方向走，每一步都让模型离最优解更近一点。2026 年，AdamW 是这个导航系统的默认选择。
约 4 分钟1,430 字