索引 / 标签
#激活函数
共 5 篇
- Ch06 神经网络基础
GELU (Gaussian Error Linear Unit)
GELU（Gaussian Error Linear Unit）是一种平滑的激活函数，由 Dan Hendrycks 和 Kevin Gimpel 于 2016 年提出。GELU 是 ReLU 的平滑近似版本，结合了 ReLU 的线性特性和 Dropout 的正则化思想，通过输入
约 3 分钟938 字 - Ch06 神经网络基础
Leaky ReLU 与 ReLU 变体家族
ReLU (Rectified Linear Unit) 是深度学习中最常用的激活函数，但它有一个著名缺陷："死亡神经元" (Dying ReLU) 问题——当神经元输出恒为负值时，梯度永远为 0，该神经元就"死了"，再也不会被激活。为了解决这个问题，研究者提出了多种 ReLU
约 2 分钟767 字 - Ch06 神经网络基础
ReLU 与激活函数 (Activation Functions)
激活函数给神经网络注入非线性——没有它，一万层网络也只等价于一层线性变换。ReLU 凭"简单粗暴"统治了十年，GELU 凭"平滑优雅"成为 Transformer 标配。
约 5 分钟1,459 字 - Ch06 神经网络基础
- Ch06 神经网络基础
激活函数 (Activation Functions)
激活函数（Activation Function）是神经网络中引入非线性的关键组件。如果没有激活函数，无论网络有多少层，整个模型都等价于一个线性变换（因为线性变换的复合仍是线性变换），无法拟合复杂的非线性函数。激活函数为每个神经元引入非线性变换，使神经网络具备通用近似能力（Uni
约 4 分钟1,129 字