索引 / 标签
#大语言模型
共 11 篇
- Ch10 LLM架构
概念-LLM概述
LLM（Large Language Model，大语言模型）是一种通过海量文本训练出来的神经网络，核心能力是"预测下一个词"——但规模足够大后，涌现出推理、翻译、编程等复杂能力。
约 1 分钟284 字 - Ch10 LLM架构
长上下文 (Long Context) — 深度解析
长上下文 (Long Context) 是指大语言模型 (LLM) 能够一次处理的最大 token 数量，即上下文窗口 (Context Window) 的大小。2026 年，主流模型已普遍支持 128K1M+ tokens 的上下文窗口，部分模型甚至达到 2M10M token
约 4 分钟1,338 字 - Ch10 LLM架构
10.1 什么是 LLM
大语言模型（Large Language Model，LLM）的本质可以浓缩为一句话：超大规模 Transformer Decoder 加上海量文本预训练。但这句话背后，藏着一条从 2018 年至今仍在加速的技术曲线。
约 6 分钟1,954 字 - Ch10 LLM架构
10.3 2026 年开源 LLM 版图
2026 年的开源 LLM 格局已经形成了清晰的"六大家族"和"三个梯队"。与两年前只有 Llama 和 Mistral 撑场面的局面相比，今天的开源生态堪称百花齐放。更重要的是，开源模型与闭源模型的差距正在以前所未有的速度缩小——DeepSeek-V4 在推理能力上已与 GPT
约 3 分钟950 字 - Ch10 LLM架构
10.4 MoE：稀疏激活的艺术
混合专家（Mixture of Experts，MoE）是一种让 LLM 既庞大又高效的架构技巧。它的核心思想可以用一句话概括：不是所有参数都参与每次计算。
约 6 分钟1,765 字 - Ch10 LLM架构
10.5 Scaling Law：更大的力量
2020 年 OpenAI 在论文《Scaling Laws for Neural Language Models》中发现了一条后来成为 AI 行业"第一性原理"的规律：模型性能随参数量、数据量、计算量的增长呈幂律提升。 所谓幂律，就是规模翻倍带来的性能提升是可精确预测的——不是
约 5 分钟1,712 字 - Ch10 LLM架构
10.6 上下文窗口的军备竞赛
上下文窗口（Context Window）是 LLM 在一次推理中能"看到"的最大文本量，以 token 为单位计算。它本质上就是 AI 的工作记忆——窗口内的信息模型可以引用和推理，窗口外的信息对模型来说等于不存在。
约 5 分钟1,733 字 - Ch10 LLM架构
10.7 Tokenizer：AI 的词典
Tokenizer（分词器）是将人类文字翻译成 LLM 能理解的"数字语言"的翻译官。LLM 从未见过一个汉字或一个英文字母——它只见过整数编号。当你输入"你好世界"时，Tokenizer 先把它切成 token 序列（如 576, 152, 197），然后 LLM 才开始工作。
约 5 分钟1,750 字 - Ch10 LLM架构
10.8 2026年主流LLM能力对比
截至2026年中期，六大主流LLM在各项能力维度上的横向对比。 10.8.1 基础规格 | 维度 | GPT-5.5 | Claude Opus 4.8 | Gemini 3.5 Pro | DeepSeek-V4 | Qwen 3.7 | GLM 5.2 | |------|-
约 2 分钟776 字 - Ch10 LLM架构
10.9 LLM选型决策框架
面对 2026 年琳琅满目的 LLM 选择，如何做出理性决策？以下框架从三个维度提供结构化指导。 10.9.1 维度一：任务类型 → 推荐模型 | 任务场景 | 首选模型 | 备选方案 | 决策理由 | |---------|---------|---------|-------
约 1 分钟427 字 - Ch10 LLM架构
第10章 · LLM 原理与架构演进
本章承接第 9 章 Transformer，聚焦 LLM 层面的架构演进：从自回归生成的基本原理到 2026 年的 MoE 稀疏激活、Scaling Law 的理论与修正、上下文窗口的军备竞赛
约 2 分钟799 字