索引 / 标签
#ReLU
共 2 篇
- Ch06 神经网络基础
Leaky ReLU 与 ReLU 变体家族
ReLU (Rectified Linear Unit) 是深度学习中最常用的激活函数，但它有一个著名缺陷："死亡神经元" (Dying ReLU) 问题——当神经元输出恒为负值时，梯度永远为 0，该神经元就"死了"，再也不会被激活。为了解决这个问题，研究者提出了多种 ReLU
约 2 分钟767 字 - Ch06 神经网络基础
ReLU 与激活函数 (Activation Functions)
激活函数给神经网络注入非线性——没有它，一万层网络也只等价于一层线性变换。ReLU 凭"简单粗暴"统治了十年，GELU 凭"平滑优雅"成为 Transformer 标配。
约 5 分钟1,459 字