RWKV (Receptance Weighted Key Value)

一句话理解

RNN式的线性复杂度Transformer替代方案——训练像Transformer一样并行,推理像RNN一样快,试图在”注意力”的高性能和”RNN”的高效率之间找到平衡点。

路径	代表方案	训练复杂度	推理复杂度	长文本能力
更高效的注意力	FlashAttention, Ring Attention	$O (n^{2})$ (IO优化)	$O (n^{2})$	缓解但未根本解决
稀疏注意力	Longformer, BigBird	$O (nk)$ 或 $O (n lo g n)$	$O (nk)$	好
线性注意力	RWKV, Linear Transformer	$O (n)$	$O (1)$	优秀
状态空间模型	Mamba, Mamba2	$O (n)$	$O (1)$	优秀
混合架构	Jamba, Griffin	$O (n)$	$O (1)$	优秀

RWKV将Transformer的自注意力替换为RNN式的更新规则:

时间步更新 (RNN视角):

r_{t} = W_{r} \cdot (μ_{r} ⊙ x_{t} + (1 - μ_{r}) ⊙ x_{t - 1})

k_{t} = W_{k} \cdot (μ_{k} ⊙ x_{t} + (1 - μ_{k}) ⊙ x_{t - 1})

v_{t} = W_{v} \cdot (μ_{v} ⊙ x_{t} + (1 - μ_{v}) ⊙ x_{t - 1})

w k v_{t} = \frac{\sum _{i = 1}^{t - 1} e ^{- (t - 1 - i) w + k_{i}} v _{i} + e ^{u + k_{t}} v _{t}}{\sum _{i = 1}^{t - 1} e ^{- (t - 1 - i) w + k_{i}} + e ^{u + k_{t}}}

o_{t} = W_{o} \cdot (σ (r_{t}) ⊙ w k v_{t})

其中:

关键特性: 计算可以写成RNN形式(逐token),也可以写成卷积形式(并行训练),这使得训练和推理都可以高效进行。

维度	Transformer	RWKV	Mamba
核心机制	自注意力	线性注意力(RNN形式)	选择性状态空间
提出者	Google (2017)	彭博 (2023)	CMU & Princeton (2023)
训练复杂度	$O (n^{2})$	$O (n)$	$O (n)$
推理复杂度	$O (n)$ (每步)	$O (1)$ (每步)	$O (1)$ (每步)
并行训练	原生支持	通过卷积变换支持	通过并行扫描支持
开源生态	最丰富	较活跃	快速增长
预训练模型	GPT/LLaMA系	RWKV-5/6 (World)	Mamba/Mamba2
长文本支持	受限于 $O (n^{2})$	天然支持	天然支持
2026年最大模型	数千亿参数	数十亿参数	数十亿参数
社区活跃度	最高	中等	高
生产部署	广泛	有限	增长中

场景	推荐度	原因
长文本推理(>128K)	强烈推荐	推理效率优势明显
边缘/端侧部署	推荐	内存占用小
实时对话系统	推荐	推理延迟低
常规NLP任务	可考虑	性能接近Transformer
需要顶尖性能	暂不推荐	Transformer+FlashAttention仍然是SOTA

Peng et al., “RWKV: Reinventing RNNs for the Transformer Era” (2023) — https://arxiv.org/abs/2305.13048
Peng et al., “Eagle and Finch: RWKV with Matrix-Valued States and Dynamic Recurrence” (2024) — https://arxiv.org/abs/2404.05892
RWKV GitHub Repository — https://github.com/BlinkDL/RWKV-LM
RWKV Wiki — https://wiki.rwkv.com
Gu & Dao, “Mamba: Linear-Time Sequence Modeling with Selective State Spaces” (2023) — https://arxiv.org/abs/2312.00752