索引 / 标签
#训练优化
共 2 篇
- Ch06 神经网络基础
学习率 (Learning Rate)
概述 学习率（Learning Rate, LR）是深度学习优化中最重要的超参数，没有之一。它控制着模型参数每次更新的步长大小，直接决定了模型能否收敛、收敛速度有多快、以及最终能达到的性能水平
约 5 分钟1,611 字 - Ch06 神经网络基础
批归一化 (Batch Normalization) 与归一化家族
批归一化（Batch Normalization，BN）由 Sergey Ioffe 和 Christian Szegedy 于 2015 年提出，是深度学习训练中的一项里程碑式技术。BN 通过对每个 mini-batch 的激活值进行归一化（均值为 0，方差为 1），然后进行可
约 3 分钟1,077 字