GRU 门控循环单元 (Gated Recurrent Unit)

一句话理解

GRU 是 LSTM 的简化版——把三个门精简为两个门(更新门+重置门)，去掉细胞状态只保留隐藏状态。参数更少、训练更快，效果经常差不多。

LSTM 有三个门像一个精密的保险柜(遗忘门、输入门、输出门 + 细胞状态)。GRU 发现：其实两个门就够了——一个门(更新门)同时决定”忘多少旧信息”和”记多少新信息”，另一个门(重置门)决定”过去的信息有多少对当前有用”。更简单，但一样好用。

GRU 单元内部结构:

输入: x_t (当前输入), h_{t-1} (上一时刻隐藏状态)
输出: h_t (当前隐藏状态)

两个门:
1. 重置门 r_t: 决定忽略多少过去的信息
2. 更新门 z_t: 决定保留多少过去信息 vs 写入多少新信息

组件	公式	激活函数	作用
重置门	$r_{t} = σ (W_{r} \cdot [h_{t - 1}, x_{t}] + b_{r})$	Sigmoid(0~1)	0=忽略过去, 1=全部保留
更新门	$z_{t} = σ (W_{z} \cdot [h_{t - 1}, x_{t}] + b_{z})$	Sigmoid(0~1)	控制新旧信息的混合比例
候选隐藏状态	$\tilde{h}_{t} = tanh (W_{h} \cdot [r_{t} ⊙ h_{t - 1}, x_{t}] + b_{h})$	Tanh(-1~1)	新信息候选, 受重置门调控
隐藏状态更新	$h_{t} = (1 - z_{t}) ⊙ h_{t - 1} + z_{t} ⊙ \tilde{h}_{t}$	—	新旧混合

核心作用：当 $r_{t} \approx 0$ 时，候选隐藏状态 $\tilde{h}_{t}$ 就像只看当前输入 $x_{t}$ 一样，完全忽略历史。这对捕获短期依赖很有用。

核心作用：更新门同时做了 LSTM 中遗忘门和输入门的工作—— $z_{t}$ 控制保留多少旧信息， $1 - z_{t}$ 控制写入多少新信息。两者天然互补，一个门就够了。

维度	LSTM	GRU
门数量	3 (遗忘/输入/输出)	2 (重置/更新)
状态数量	2 (隐藏状态 h + 细胞状态 c)	1 (隐藏状态 h)
参数量	4 × (hidden_size × (hidden_size + input_size))	3 × (hidden_size × (hidden_size + input_size))
相对参数量	100%	~75%
训练速度	基准	约 15-25% 更快
内存占用	基准	约 25% 更少
长距离依赖	很好	好(略逊于 LSTM)
短期依赖	好	好
梯度消失	大幅缓解	缓解
提出年份	1997 (Hochreiter & Schmidhuber)	2014 (Cho et al.)
提出背景	解决 RNN 长距离依赖	为 Seq2Seq 机器翻译简化 LSTM

经验法则：如果用小数据集训练 RNN，先试 GRU；如果 GRU 不够好，再试 LSTM。两者效果差异通常不大，但 GRU 收敛更快。

GRU 处于”刚好够用”的甜点——比 LSTM 简单很多，但比简单 RNN 强大很多。

GRU 和 LSTM 一样，在 NLP 主流领域已被 Transformer 取代。但 GRU 因其简洁高效，在以下场景仍有一席之地：

Cho et al., “Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation” (2014) — https://arxiv.org/abs/1406.1078
Chung et al., “Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling” (2014) — GRU vs LSTM 全面对比 — https://arxiv.org/abs/1412.3555
Jozefowicz et al., “An Empirical Exploration of Recurrent Network Architectures” (2015) — 大规模 RNN 架构搜索 — https://proceedings.mlr.press/v37/jozefowicz15.html
Olah, “Understanding LSTM Networks” (2015, 同样解释 GRU) — https://colah.github.io/posts/2015-08-Understanding-LSTMs/