#GELU

ReLU 与激活函数 (Activation Functions)

激活函数给神经网络注入非线性——没有它，一万层网络也只等价于一层线性变换。ReLU 凭"简单粗暴"统治了十年，GELU 凭"平滑优雅"成为 Transformer 标配。