索引 / 标签
#Transformer替代
共 2 篇
- Ch10 LLM架构
RWKV (Receptance Weighted Key Value)
一句话理解 RNN式的线性复杂度Transformer替代方案——训练像Transformer一样并行,推理像RNN一样快,试图在"注意力"的高性能和"RNN"的高效率之间找到平衡点。 为什么
约 4 分钟1,233 字 - Ch10 LLM架构
深挖-Mamba
一句话理解 基于状态空间模型 (State Space Model, SSM) 的序列建模架构，通过在 SSM 中引入输入依赖的选择性机制 (Selective Scan)，实现了与 Tran
约 9 分钟2,732 字