索引 / 标签
#序列建模
共 3 篇
- Ch06 神经网络基础
状态空间模型（深挖）
状态空间模型（State Space Model, SSM）是一类将序列建模从 O(n^2) 降到 O(n) 线性复杂度的架构。从经典控制论中的 SSM 出发，经过 S4（结构化状态空间）、H3（Hybrid H3）、Mamba（选择性 SSM）的演进，到 2026 年，SSM
约 5 分钟1,543 字 - Ch08 RNN序列模型
Mamba (状态空间模型)
Mamba 是由 Albert Gu 和 Tri Dao 于 2023 年提出的基于结构化状态空间模型（Structured State Space Model, SSM）的序列建模架构。它通过引入选择性扫描（Selective Scan）机制，使 SSM 的参数能够根据输入动态
约 3 分钟1,053 字 - Ch09 Transformer
位置编码 (Position Encoding)
Transformer 的自注意力机制本身是置换不变的（Permutation Invariant）——即无论输入序列的顺序如何打乱，注意力输出的结果集合都相同。这与自然语言的时序特性相矛盾："我打你" 和 "你打我" 含义完全不同。位置编码（Position Encoding
约 3 分钟963 字