#梯度

梯度消失与梯度爆炸 (Vanishing/Exploding Gradient)

梯度消失（Vanishing Gradient）和梯度爆炸（Exploding Gradient）是深层神经网络训练中最根本的挑战之一。在反向传播（Backpropagation）过程中，梯度从输出层逐层向输入层传播。由于链式法则的连乘效应，梯度可能以指数级速度衰减（梯度消失）或