索引 / 标签
#状态空间模型
共 3 篇
- Ch06 神经网络基础
状态空间模型（深挖）
状态空间模型（State Space Model, SSM）是一类将序列建模从 O(n^2) 降到 O(n) 线性复杂度的架构。从经典控制论中的 SSM 出发，经过 S4（结构化状态空间）、H3（Hybrid H3）、Mamba（选择性 SSM）的演进，到 2026 年，SSM
约 5 分钟1,543 字 - Ch08 RNN序列模型
Mamba (状态空间模型)
Mamba 是由 Albert Gu 和 Tri Dao 于 2023 年提出的基于结构化状态空间模型（Structured State Space Model, SSM）的序列建模架构。它通过引入选择性扫描（Selective Scan）机制，使 SSM 的参数能够根据输入动态
约 3 分钟1,053 字 - Ch10 LLM架构
RWKV (Receptance Weighted Key Value)
一句话理解 RNN式的线性复杂度Transformer替代方案——训练像Transformer一样并行,推理像RNN一样快,试图在"注意力"的高性能和"RNN"的高效率之间找到平衡点。 为什么
约 4 分钟1,233 字