索引 / 标签
#Transformer
共 22 篇
- Ch09 Transformer
概念-自注意力机制详解
自注意力机制（Self-Attention）让序列中的每个词都能"看到"所有其他词，直接计算任意两个词之间的关联强度——这是 Transformer 超越 RNN 的核心武器。
约 1 分钟404 字 - Ch06 神经网络基础
GELU (Gaussian Error Linear Unit)
GELU（Gaussian Error Linear Unit）是一种平滑的激活函数，由 Dan Hendrycks 和 Kevin Gimpel 于 2016 年提出。GELU 是 ReLU 的平滑近似版本，结合了 ReLU 的线性特性和 Dropout 的正则化思想，通过输入
约 3 分钟938 字 - Ch06 神经网络基础
批归一化 (Batch Normalization) 与归一化家族
批归一化（Batch Normalization，BN）由 Sergey Ioffe 和 Christian Szegedy 于 2015 年提出，是深度学习训练中的一项里程碑式技术。BN 通过对每个 mini-batch 的激活值进行归一化（均值为 0，方差为 1），然后进行可
约 3 分钟1,077 字 - Ch07 CNN与CV
对比-CNNvsTransformer
概述 CNN 和 Transformer 是深度学习两大核心架构。CNN 统治计算机视觉近十年，Transformer 自 2020 年 ViT 起全面渗透视觉领域，2026 年两者在各自优势
约 2 分钟495 字 - Ch08 RNN序列模型
对比-RNNvsTransformer
概述 RNN（含 LSTM/GRU）和 Transformer 是处理序列数据的两代架构。Transformer 凭借并行计算和长距离建模能力在 2017 年后逐步取代 RNN 成为 NLP
约 2 分钟587 字 - Ch09 Transformer
Transformer 架构
Transformer 是由 Vaswani 等人在 2017 年论文 "Attention Is All You Need" 中提出的神经网络架构。它完全基于注意力机制（Attention Mechanism），摒弃了传统的循环（RNN）和卷积（CNN）结构。Transform
约 3 分钟920 字 - Ch09 Transformer
位置编码 (Position Encoding)
Transformer 的自注意力机制本身是置换不变的（Permutation Invariant）——即无论输入序列的顺序如何打乱，注意力输出的结果集合都相同。这与自然语言的时序特性相矛盾："我打你" 和 "你打我" 含义完全不同。位置编码（Position Encoding
约 3 分钟963 字 - Ch09 Transformer
- Ch09 Transformer
深挖-ViT (Vision Transformer)
一句话理解 把图像切成固定大小的 patch，每个 patch 当作一个 token，直接送入标准 Transformer Encoder 进行分类——全程不使用卷积操作，打破了 CNN 在计
约 8 分钟2,448 字 - Ch10 LLM架构
概念-Jamba
一句话理解 Jamba 是 Mamba（状态空间模型）与 Transformer 的混合架构 LLM，部分层用 Mamba 处理长序列（线性复杂度），部分层用 Transformer 捕捉全局
约 5 分钟1,501 字 - Ch20 推理部署
KV Cache (Key-Value 缓存)
KV Cache（Key-Value 缓存）是 Transformer 自回归解码（Autoregressive Decoding）中的一项核心推理优化技术。在生成文本时，模型每生成一个 token 都需要计算所有历史 token 的注意力。如果不做缓存，每个新 token 都要
约 3 分钟971 字 - Ch09 Transformer
9.1 为什么需要 Transformer — RNN 的困境
9.1.0 生活比喻：流水线工人 vs 全体同时阅读 想象一个翻译团队处理一篇 100 页的文件。RNN 模式：只有一个人工作，他从第 1 页逐页读到第 100 页。读到第 50 页时，他对第
约 6 分钟1,929 字 - Ch09 Transformer
9.10 动手实现 Self-Attention
9.10.1 PyTorch 实现：缩放点积注意力 9.10.2 从头实现 Mini-Transformer 的步骤 完整的 Transformer 解码器块的实现： 9.10.3 关键调试技
约 1 分钟445 字 - Ch09 Transformer
9.2 自注意力机制 — 深度拆解
公式可跳过：下面出现的数学公式可以直接跳过，看后面的文字解释也能理解自注意力的核心思想。 核心公式： 9.2.1 Query/Key/Value 的直觉：图书馆检索 理解 Q/K/V 最好的比
约 5 分钟1,714 字 - Ch09 Transformer
- Ch09 Transformer
9.4 位置编码 — Transformer 的"序列感知"
9.4.1 为什么需要位置编码 自注意力机制有一个根本性的"盲区"：它是置换不变的（permutation invariant）。如果你把输入序列中的词任意打乱，自注意力的输出（在置换意义下）
约 4 分钟1,309 字 - Ch09 Transformer
9.5 前馈网络（FFN）— Transformer 的"知识存储"
9.5.1 FFN 的双重身份 每个 Transformer 层的 FFN 形式为： 其中 W1 ∈ R^dmodel × dff，W2 ∈ R^dff × dmodel，通常 dff = 4
约 1 分钟401 字 - Ch09 Transformer
9.6 残差连接与层归一化
想象你在修改一份合同。每次修改时，你拿到上一轮的版本（输入 x），在上面用红笔批注修改（SubLayer(x)），然后把原件和批注版本并排存档。下一轮修改时，审阅的人可以同时看到原件和最新批注——原件是一条"直达通道"，不管中间加了多复杂的批注，原始信息始终可追溯。
约 6 分钟1,937 字 - Ch09 Transformer
9.7 完整编码器-解码器架构
9.7.1 生活比喻：翻译员的工作流程 一个专业的翻译员工作时，脑子里同时运行两个阶段： 编码阶段：通读原文，理解全部意思。他可以在段落之间来回跳跃，用后文的信息帮助理解前文（比如看到"他"才
约 6 分钟1,811 字 - Ch09 Transformer
9.8 Decoder-Only -- 为什么 LLM 只用解码器
- Encoder-Only（BERT 系）相当于一个校对员。他拿到完整的文章，可以从头到尾反复阅读，前后对照，找出错别字或标记关键信息。但他不会自己写新文章。 - Encoder-Decoder（T5 系）相当于一个翻译员。他先通读原文（编码），理解全部意思，然后逐句翻译（解码
约 6 分钟1,893 字 - Ch09 Transformer
9.9 2026 Transformer 进化
9.9.1 GQA：分组查询注意力 标准多头注意力（MHA）中，每个头有独立的 Q、K、V。推理时，每生成一个新 token，需要存储所有历史 token 的 K 和 V（KV 缓存），避免重
约 3 分钟996 字 - Ch09 Transformer
第9章 · Transformer 架构精讲
Transformer 是现代 AI 的基石。从 2017 年的论文到 2026 年的每一款大模型，核心架构没变，但每个组件都被反复优化过。本章讲原理，不讲推导。第 10 章讲 LLM 层面的
约 3 分钟1,006 字