索引 / 标签
#RNN
共 11 篇
- Ch08 RNN序列模型
8.1 RNN：有记忆的网络
全连接网络和 CNN 都是"看完就忘"——输入一个数据，输出一个结果，下一个输入和上一个没关系。RNN 多了一个"隐藏状态"——网络处理每个单词时，会参考上一个单词留下的记忆。 8.1.1 展开循环图：信息如何在时间步间传递 RNN 的核心思想可以用一句话概括：同一个网络，在不同
约 1 分钟468 字 - Ch08 RNN序列模型
8.2 LSTM：更长的记忆
普通 RNN 有"短期记忆丧失"——第 100 个词很难影响第 1 个词的理解。原因是梯度在反向传播中指数衰减（反向传播过 100 层，梯度的乘积越来越小）。 LSTM（长短期记忆，1997 年）用三个"门"解决了这个问题： 8.2.1 遗忘门：决定扔掉什么 遗忘门看当前的输入和
约 3 分钟828 字 - Ch08 RNN序列模型
8.3 梯度消失与梯度爆炸：为什么深层 RNN 训练不好
这是 RNN 最核心的技术难题，也是理解 LSTM/GRU 为什么被发明的关键。 8.3.1 梯度是什么 训练神经网络 = 不断调整参数，让预测更准确。梯度就是"每个参数应该往哪个方向调、调多少"的信号。梯度大 = 这个参数需要大幅调整；梯度小 = 这个参数基本不用动。 8.3.
约 2 分钟602 字 - Ch08 RNN序列模型
8.4 双向 RNN：同时看过去和未来
前面讲的 RNN 都是单向的——从左到右读，只能看到"过去"的信息。但有些任务需要同时看到上下文： - "我今天很，因为考试得了满分" —— 只看前面不知道填什么，看到后面"满分"才知道是"开心" - 命名实体识别中，"华盛顿"是人名还是地名，取决于前后文 双向 RNN 的做法：
约 1 分钟231 字 - Ch08 RNN序列模型
8.5 Seq2Seq：输入一串，输出一串
假设你要把"我打你"翻译成英文"I hit you"。这不是简单的单词替换——中文三个字，英文三个词，但顺序不同（"打"对应"hit"在中间，"我"对应"I"在开头）。更关键的是，你需要先理解整个中文句子的含义，然后用英文的语法重新表达。
约 6 分钟1,837 字 - Ch08 RNN序列模型
8.6 2026 年：理解 RNN 是理解序列建模的基础
2026 年，几乎所有大模型（GPT-5.5、Claude Opus 4.8、Gemini 3.5 Pro）都基于 Transformer 架构。你可能会问：既然 Transformer 统治了一切，为什么还要学 RNN？
约 3 分钟986 字 - Ch08 RNN序列模型
第8章 · RNN 与序列模型
Ch07 CNN 与计算机视觉 讲了卷积核怎么看图。但图片是静态的——一张图就是一个快照。文字不一样——"我打你"和"你打我"词一样，顺序不同，意思完全不同。 RNN（循环神经网络）就是为"顺序敏感"的数据设计的。 生活比喻：RNN 像一个人边读小说边记笔记——每读完一句，你把这
约 1 分钟479 字 - Ch08 RNN序列模型
对比-RNNvsTransformer
概述 RNN（含 LSTM/GRU）和 Transformer 是处理序列数据的两代架构。Transformer 凭借并行计算和长距离建模能力在 2017 年后逐步取代 RNN 成为 NLP
约 2 分钟587 字 - Ch08 RNN序列模型
GRU 门控循环单元 (Gated Recurrent Unit)
GRU 是 LSTM 的简化版——把三个门精简为两个门(更新门+重置门)，去掉细胞状态只保留隐藏状态。参数更少、训练更快，效果经常差不多。
约 4 分钟1,312 字 - Ch08 RNN序列模型
LSTM 长短期记忆网络 (Long Short-Term Memory)
LSTM 是 RNN 的升级版——通过三个门(遗忘门、输入门、输出门)和一个细胞状态，解决了简单 RNN 记不住长距离信息的问题。
约 4 分钟1,242 字 - Ch10 LLM架构
RWKV (Receptance Weighted Key Value)
一句话理解 RNN式的线性复杂度Transformer替代方案——训练像Transformer一样并行,推理像RNN一样快,试图在"注意力"的高性能和"RNN"的高效率之间找到平衡点。 为什么
约 4 分钟1,233 字