索引 / 标签
#架构
共 22 篇
- Ch07 CNN与CV
对比-CNNvsTransformer
概述 CNN 和 Transformer 是深度学习两大核心架构。CNN 统治计算机视觉近十年，Transformer 自 2020 年 ViT 起全面渗透视觉领域，2026 年两者在各自优势
约 2 分钟495 字 - Ch08 RNN序列模型
对比-RNNvsTransformer
概述 RNN（含 LSTM/GRU）和 Transformer 是处理序列数据的两代架构。Transformer 凭借并行计算和长距离建模能力在 2017 年后逐步取代 RNN 成为 NLP
约 2 分钟587 字 - Ch09 Transformer
9.1 为什么需要 Transformer — RNN 的困境
9.1.0 生活比喻：流水线工人 vs 全体同时阅读 想象一个翻译团队处理一篇 100 页的文件。RNN 模式：只有一个人工作，他从第 1 页逐页读到第 100 页。读到第 50 页时，他对第
约 6 分钟1,929 字 - Ch09 Transformer
9.10 动手实现 Self-Attention
9.10.1 PyTorch 实现：缩放点积注意力 9.10.2 从头实现 Mini-Transformer 的步骤 完整的 Transformer 解码器块的实现： 9.10.3 关键调试技
约 1 分钟445 字 - Ch09 Transformer
9.2 自注意力机制 — 深度拆解
公式可跳过：下面出现的数学公式可以直接跳过，看后面的文字解释也能理解自注意力的核心思想。 核心公式： 9.2.1 Query/Key/Value 的直觉：图书馆检索 理解 Q/K/V 最好的比
约 5 分钟1,714 字 - Ch09 Transformer
- Ch09 Transformer
9.4 位置编码 — Transformer 的"序列感知"
9.4.1 为什么需要位置编码 自注意力机制有一个根本性的"盲区"：它是置换不变的（permutation invariant）。如果你把输入序列中的词任意打乱，自注意力的输出（在置换意义下）
约 4 分钟1,309 字 - Ch09 Transformer
9.5 前馈网络（FFN）— Transformer 的"知识存储"
9.5.1 FFN 的双重身份 每个 Transformer 层的 FFN 形式为： 其中 W1 ∈ R^dmodel × dff，W2 ∈ R^dff × dmodel，通常 dff = 4
约 1 分钟401 字 - Ch09 Transformer
9.6 残差连接与层归一化
想象你在修改一份合同。每次修改时，你拿到上一轮的版本（输入 x），在上面用红笔批注修改（SubLayer(x)），然后把原件和批注版本并排存档。下一轮修改时，审阅的人可以同时看到原件和最新批注——原件是一条"直达通道"，不管中间加了多复杂的批注，原始信息始终可追溯。
约 6 分钟1,937 字 - Ch09 Transformer
9.7 完整编码器-解码器架构
9.7.1 生活比喻：翻译员的工作流程 一个专业的翻译员工作时，脑子里同时运行两个阶段： 编码阶段：通读原文，理解全部意思。他可以在段落之间来回跳跃，用后文的信息帮助理解前文（比如看到"他"才
约 6 分钟1,811 字 - Ch09 Transformer
9.8 Decoder-Only -- 为什么 LLM 只用解码器
- Encoder-Only（BERT 系）相当于一个校对员。他拿到完整的文章，可以从头到尾反复阅读，前后对照，找出错别字或标记关键信息。但他不会自己写新文章。 - Encoder-Decoder（T5 系）相当于一个翻译员。他先通读原文（编码），理解全部意思，然后逐句翻译（解码
约 6 分钟1,893 字 - Ch09 Transformer
9.9 2026 Transformer 进化
9.9.1 GQA：分组查询注意力 标准多头注意力（MHA）中，每个头有独立的 Q、K、V。推理时，每生成一个新 token，需要存储所有历史 token 的 K 和 V（KV 缓存），避免重
约 3 分钟996 字 - Ch09 Transformer
第9章 · Transformer 架构精讲
Transformer 是现代 AI 的基石。从 2017 年的论文到 2026 年的每一款大模型，核心架构没变，但每个组件都被反复优化过。本章讲原理，不讲推导。第 10 章讲 LLM 层面的
约 3 分钟1,006 字 - Ch10 LLM架构
10.1 什么是 LLM
大语言模型（Large Language Model，LLM）的本质可以浓缩为一句话：超大规模 Transformer Decoder 加上海量文本预训练。但这句话背后，藏着一条从 2018 年至今仍在加速的技术曲线。
约 6 分钟1,954 字 - Ch10 LLM架构
10.3 2026 年开源 LLM 版图
2026 年的开源 LLM 格局已经形成了清晰的"六大家族"和"三个梯队"。与两年前只有 Llama 和 Mistral 撑场面的局面相比，今天的开源生态堪称百花齐放。更重要的是，开源模型与闭源模型的差距正在以前所未有的速度缩小——DeepSeek-V4 在推理能力上已与 GPT
约 3 分钟950 字 - Ch10 LLM架构
10.4 MoE：稀疏激活的艺术
混合专家（Mixture of Experts，MoE）是一种让 LLM 既庞大又高效的架构技巧。它的核心思想可以用一句话概括：不是所有参数都参与每次计算。
约 6 分钟1,765 字 - Ch10 LLM架构
10.5 Scaling Law：更大的力量
2020 年 OpenAI 在论文《Scaling Laws for Neural Language Models》中发现了一条后来成为 AI 行业"第一性原理"的规律：模型性能随参数量、数据量、计算量的增长呈幂律提升。 所谓幂律，就是规模翻倍带来的性能提升是可精确预测的——不是
约 5 分钟1,712 字 - Ch10 LLM架构
10.6 上下文窗口的军备竞赛
上下文窗口（Context Window）是 LLM 在一次推理中能"看到"的最大文本量，以 token 为单位计算。它本质上就是 AI 的工作记忆——窗口内的信息模型可以引用和推理，窗口外的信息对模型来说等于不存在。
约 5 分钟1,733 字 - Ch10 LLM架构
10.7 Tokenizer：AI 的词典
Tokenizer（分词器）是将人类文字翻译成 LLM 能理解的"数字语言"的翻译官。LLM 从未见过一个汉字或一个英文字母——它只见过整数编号。当你输入"你好世界"时，Tokenizer 先把它切成 token 序列（如 576, 152, 197），然后 LLM 才开始工作。
约 5 分钟1,750 字 - Ch10 LLM架构
10.8 2026年主流LLM能力对比
截至2026年中期，六大主流LLM在各项能力维度上的横向对比。 10.8.1 基础规格 | 维度 | GPT-5.5 | Claude Opus 4.8 | Gemini 3.5 Pro | DeepSeek-V4 | Qwen 3.7 | GLM 5.2 | |------|-
约 2 分钟776 字 - Ch10 LLM架构
10.9 LLM选型决策框架
面对 2026 年琳琅满目的 LLM 选择，如何做出理性决策？以下框架从三个维度提供结构化指导。 10.9.1 维度一：任务类型 → 推荐模型 | 任务场景 | 首选模型 | 备选方案 | 决策理由 | |---------|---------|---------|-------
约 1 分钟427 字 - Ch10 LLM架构
第10章 · LLM 原理与架构演进
本章承接第 9 章 Transformer，聚焦 LLM 层面的架构演进：从自回归生成的基本原理到 2026 年的 MoE 稀疏激活、Scaling Law 的理论与修正、上下文窗口的军备竞赛
约 2 分钟799 字