索引 / 标签
#序列模型
共 4 篇
- Ch08 RNN序列模型
对比-RNNvsTransformer
概述 RNN（含 LSTM/GRU）和 Transformer 是处理序列数据的两代架构。Transformer 凭借并行计算和长距离建模能力在 2017 年后逐步取代 RNN 成为 NLP
约 2 分钟587 字 - Ch08 RNN序列模型
GRU 门控循环单元 (Gated Recurrent Unit)
GRU 是 LSTM 的简化版——把三个门精简为两个门(更新门+重置门)，去掉细胞状态只保留隐藏状态。参数更少、训练更快，效果经常差不多。
约 4 分钟1,312 字 - Ch08 RNN序列模型
LSTM 长短期记忆网络 (Long Short-Term Memory)
LSTM 是 RNN 的升级版——通过三个门(遗忘门、输入门、输出门)和一个细胞状态，解决了简单 RNN 记不住长距离信息的问题。
约 4 分钟1,242 字 - Ch10 LLM架构
深挖-Mamba
一句话理解 基于状态空间模型 (State Space Model, SSM) 的序列建模架构，通过在 SSM 中引入输入依赖的选择性机制 (Selective Scan)，实现了与 Tran
约 9 分钟2,732 字