Auntilz墨痕
Ch10 LLM架构修订于 二〇二六年七月二日

10.1 什么是 LLM

约 6 分钟共 1,954 字Ch10 LLM架构

概念：一个会”接龙”的超级大脑

大语言模型（Large Language Model，LLM）的本质可以浓缩为一句话：超大规模 Transformer Decoder 加上海量文本预训练。但这句话背后，藏着一条从 2018 年至今仍在加速的技术曲线。

如果把 LLM 比作一个人，它不是一个会思考的哲学家，而是一个玩了无数次”词语接龙”的高手。你给它上文，它预测下文。这个游戏的核心规则叫做自回归生成：模型每生成一个 token（AI 词典中的最小语义单元，一个 token 约等于 0.75 个英文单词或 0.5 个中文字），就将这个 token 接在已有的文本末尾，再以这段更长的文本为基础预测下一个 token，如此循环，像滚雪球一样构建出整段回复 1。

为什么必须是 Transformer Decoder？可以把 Transformer 想象成一台”文字搅拌机”——Encoder 负责把所有文字一起搅匀理解（像读完全文再答题），Decoder 则逐字逐句地搅拌生成（像一边说一边想下一句）。LLM 选择了 Decoder-Only 架构，因为它的目标不是”分类这段文字”，而是”写出下一段文字”。逐 token 生成天然匹配 Decoder 的工作方式 2。

教学：三大标志性能力

LLM 区别于传统 NLP 模型的能力有三个层次，你可以把它们想象成”三块跳板”：

第一块跳板：自回归生成。 这是最基础的技能。模型逐 token 预测下一个词，形成连贯文本。生活比喻：这就像熟练的打字员，不需要思考整篇文章的结构，只需要在打完每个字后决定下一个字打什么。但 LLM 的厉害之处在于，它的”下一个字”不仅基于语法，还基于对整个上下文（最长可达数百万 token）的语义理解。这解释了为什么同一个模型既能写代码也能写诗——两种任务在底层都是”预测下一个 token” 3。

第二块跳板：涌现能力（Emergent Abilities）。 当模型规模超过某个临界点（通常在数十亿参数级别），它会突然展现出训练中没有明确教过的能力——如零样本推理（不给示例直接完成新任务）、代码生成、甚至简单的数学推理。生活比喻：就像小孩子背了足够多的唐诗后，某天突然自己”创作”出一首押韵的句子——虽然没有被教过作诗，但大量背诵让大脑自发归纳出了格律规律。不过 2026 年学术界对此有争议：部分研究者认为涌现只是评估指标的”幻象”——能力随规模平滑提升，但离散的评测标准（如”答对或答错”）在阈值处制造了”突然出现”的视觉效果 4。

第三块跳板：上下文学习（In-Context Learning, ICL）。 LLM 不需要修改参数，仅通过 Prompt 中的几个示例（Few-shot——给 AI 看几个输入输出的例子，让它模仿着回答新的输入）就能学会新任务。2026 年的最新理论认为，上下文学习的底层机制是一种隐式的梯度下降——注意力层在上下文中读取示例时，实际上等价于对模型的权重做了一次低秩更新，只不过这一切发生在推理的前向传播中，不涉及真实的参数修改 5。另一个理论视角是任务推断：模型从示例中推断出当前要执行的任务类型，然后将其预测分布集中在该任务上 6。

注意事项：LLM 不是万能的

了解 LLM 是什么，同样重要的是了解它不是什么：

  1. LLM 没有真正的理解。 它通过统计相关性生成文本，而非基于对世界的事实认知。当你问”太阳从哪边升起”，它不是因为见过日出，而是因为在训练数据中”东方”出现的频率远高于其他方向。这种统计驱动在常识性问题上表现良好，但在需要因果推理的场景中可能给出流畅但完全错误的答案（幻觉）7。

  2. LLM 的知识有截止日期。 训练完成后，模型的知识库就冻结了。除非结合 RAG（检索增强生成）或实时搜索，否则它不会知道训练截止日期之后发生的事。

  3. LLM 的输出受上下文窗口限制。 超过窗口长度的对话或文档会被”遗忘”。这就是为什么 2026 年的上下文窗口军备竞赛如此激烈（详见 10.6 上下文窗口的军备竞赛）。

  4. LLM 运行成本高昂。 即使 DeepSeek-V4 已将 API 价格压至极低（输入 $0.55/百万 token），训练一个百亿级模型仍需数百万美元的计算资源。

关联

GPT 系列演进：Decoder-Only 的胜利之路

为什么 Decoder-Only 架构最终统治了 LLM 世界？这条演进路线给出了答案：

模型年份关键贡献
GPT-12018首次证明大规模无监督预训练 + 有监督微调可行，开创”预训练-微调”范式
GPT-22019Zero-shot 能力初现，OpenAI 以”太危险不能开源”引发行业关于 AI 安全的首次大讨论
GPT-32020175B 参数，Few-shot 学习成为范式，Prompt 工程正式诞生——开发者不再微调模型，而是通过写 Prompt “编程”模型
GPT-42023多模态（文本+图像），推理能力实现质的飞跃，在多领域专业考试中超越人类平均水平
GPT-4o2024原生多模态（文本+图像+音频统一处理），实时语音交互延迟降至接近人类对话
GPT-52025推理能力大幅提升，长上下文原生支持，Agent 工具调用成为系统级能力
GPT-5.520262026 年标杆：多模态+推理+Agent 一体化，代表了 Decoder-Only 路线的当前顶峰

8; 9

这条演进路线的核心启示：从 GPT-1 到 GPT-5.5，OpenAI 坚持 Decoder-Only 架构不变，变化的只有规模和训练方法。每种架构选择（Encoder-Decoder 如 T5、Encoder-Only 如 BERT）都有各自的长处，但 Decoder-Only 在”统一生成能力”这个维度上最终证明了自己——用一个架构解决文本生成、代码生成、推理、多模态等所有任务，远比维护多种专用架构高效。这就是 Decoder-Only 的胜利 10。

上一节：章首 | 下一节：10.3 2026 年开源 LLM 版图 |

注释

  1. Radford et al., “Improving Language Understanding by Generative Pre-Training”, OpenAI, 2018, https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf ↩

  2. Ranksquire, “LLM Architecture 2026”, https://ranksquire.com/2026/04/13/llm-architecture-2026/ ↩

  3. Brown et al., “Language Models are Few-Shot Learners”, NeurIPS 2020, https://arxiv.org/abs/2005.14165 ↩

  4. Schaeffer et al., “Are Emergent Abilities of Large Language Models a Mirage?”, NeurIPS 2023, https://arxiv.org/abs/2304.15004 ↩

  5. Dherin et al., “Learning without training: The implicit dynamics of in-context learning”, Google, 2026, https://arxiv.org/abs/2507.16003 ↩

  6. Ma et al., “Beyond the Prompt in Large Language Models”, 2026, https://arxiv.org/abs/2603.10000 ↩

  7. Ji et al., “Survey of Hallucination in Natural Language Generation”, ACM Computing Surveys, 2023, https://arxiv.org/abs/2202.03629 ↩

  8. Raschka, “LLM Research Papers 2026 Part 1”, https://magazine.sebastianraschka.com/p/llm-research-papers-2026-part1 ↩

  9. Ranksquire, “LLM Architecture 2026”, https://ranksquire.com/2026/04/13/llm-architecture-2026/ ↩

  10. Knight Li, “LLM Architecture Evolution 2023-2026”, https://knightli.com/en/2026/05/17/llm-architecture-evolution-2023-2026/ ↩

关联13

知识图谱

反向链接4

出链9

局部图谱 · 点节点跳转