根目录修订于 二〇二六年七月一日
名词
每个词条 = 名称 + 一句话定义 + 所属章节。以后开新对话，顺着词条逐个展开。
一、基础概念
| 术语 | 一句话 | 章节 |
|---|---|---|
| AI（人工智能） | 让机器模拟人类智能的学科 | 1 |
| AGI（通用人工智能） | 能完成任何人类能完成的智力任务的 AI | 1 |
| ANI（狭义人工智能） | 只擅长单一任务的 AI（目前所有 AI 都是 ANI） | 1 |
| 机器学习（ML） | AI 的子集，让机器从数据中学习而非手工编程 | 2 |
| 深度学习（DL） | ML 的子集，使用多层神经网络自动提取特征 | 3 |
| 监督学习 | 用标注数据训练，输入→输出映射 | 4 |
| 无监督学习 | 无标注数据，发现数据内在结构 | 4 |
| 半监督学习 | 少量标注 + 大量无标注数据混合训练 | 4 |
| 强化学习（RL） | Agent 与环境交互，通过奖励信号学习策略 | 4 |
| 自监督学习 | 从数据自身构造监督信号（MLM、下一词预测） | 4 |
| 迁移学习 | 在一个任务上学到的知识迁移到另一个任务 | 4 |
| 表示学习 | 自动学习数据的有效特征表示 | 4 |
二、符号主义时代（1956–1980s）— 已过时但需知道
| 术语 | 一句话 | 章节 |
|---|---|---|
| 符号主义 | 认为智能 = 符号逻辑运算的 AI 哲学派别 | 1 |
| 连接主义 | 认为智能 = 神经网络连接权重的 AI 哲学派别 | 1 |
| 专家系统 | 手工编写 if-then 规则的知识库推理系统 | 1 |
| 知识工程 | 将人类专家知识编码成规则的过程 | 1 |
| MYCIN | 1970s 医疗诊断专家系统，诊断血液感染 | 1 |
| 图灵测试 | 判断机器是否具有智能的经典测试 | 1 |
| AI 寒冬 | 1974-80 和 1987-93 两次 AI 研究资金枯竭期 | 1 |
| Lisp | AI 早期最常用的编程语言 | 1 |
| Prolog | 逻辑编程语言，专家系统常用 | 1 |
| 知识图谱 | 实体-关系-实体的结构化知识网络 | 1 |
三、经典机器学习（1990s–2012）
| 术语 | 一句话 | 章节 |
|---|---|---|
| SVM（支持向量机） | 寻找最大间隔分类超平面，核方法处理非线性 | 4 |
| 核方法 | 将数据隐式映射到高维空间的数学技巧 | 4 |
| 决策树 | 树形结构的 if-then 分类/回归模型 | 4 |
| 随机森林 | 多棵决策树的集成，投票决定结果 | 4 |
| XGBoost | 梯度提升树，Kaggle 竞赛王者，2026 年仍不过时 | 4 |
| LightGBM | 微软的高效梯度提升框架 | 4 |
| CatBoost | 处理类别特征特化的梯度提升 | 4 |
| KNN（K 近邻） | 找最近的 K 个邻居投票，懒惰学习 | 4 |
| K-Means | 经典聚类算法，将数据分成 K 个簇 | 4 |
| PCA（主成分分析） | 线性降维，找到方差最大的投影方向 | 4 |
| t-SNE | 非线性降维，可视化高维数据 | 4 |
| 逻辑回归 | 虽然叫回归，实际是分类算法 | 4 |
| 线性回归 | 拟合输入与输出之间的线性关系 | 4 |
| 朴素贝叶斯 | 基于贝叶斯定理 + 特征独立假设的分类器 | 4 |
| 交叉验证 | 将数据分成 K 折，轮流验证和训练 | 5 |
| 过拟合 | 模型在训练集上完美但在新数据上表现差 | 5 |
| 欠拟合 | 模型太简单，训练集和新数据上都表现差 | 5 |
| 偏差-方差权衡 | 模型复杂度的经典矛盾 | 5 |
| 特征工程 | 手工构造/选择/变换输入特征 | 5 |
四、传统 NLP（—2017）
| 术语 | 一句话 | 章节 |
|---|---|---|
| TF-IDF | 词频-逆文档频率，文本关键词提取 | 1, 8 |
| 词袋模型（BoW） | 忽略词序，只看词频的文本表示 | 1 |
| N-gram | 连续 N 个词/token 的序列 | 8 |
| HMM（隐马尔可夫模型） | 序列标注经典模型，无法捕获长距离依赖 | 1, 8 |
| CRF（条件随机场） | HMM 的升级版，NER 主力直到 BERT 出现 | 1, 8 |
| Word2Vec | 2013 年，将词映射为稠密向量的里程碑 | 8 |
| GloVe | 基于全局词共现矩阵的词向量 | 8 |
| FastText | Facebook 的子词级词向量 | 8 |
| Seq2Seq | 编码器-解码器架构，机器翻译经典模型 | 8 |
| 注意力机制（原始） | Bahdanau 2014，解决 Seq2Seq 信息瓶颈 | 8, 9 |
| BLEU | 机器翻译质量自动评估指标 | 8 |
| 困惑度（Perplexity） | 语言模型质量的评估指标 | 8 |
五、深度学习基础（2012–至今）
| 术语 | 一句话 | 章节 |
|---|---|---|
| 感知机 | 单层神经网络，线性分类器的基本单元 | 6 |
| 激活函数 | 引入非线性的函数（ReLU、GELU、Sigmoid、Tanh） | 6 |
| 反向传播 | 计算梯度并更新权重的核心算法 | 6 |
| 梯度下降 | 沿梯度方向迭代优化损失函数 | 6 |
| SGD（随机梯度下降） | 每次用一个小批量数据计算梯度 | 6 |
| Adam | 自适应学习率优化器，最常用 | 6 |
| AdamW | Adam + 权重衰减解耦，Transformer 训练标配 | 6 |
| 损失函数 | 衡量预测与真实值差距的函数 | 6 |
| 交叉熵损失 | 分类任务最常用的损失函数 | 6 |
| 批归一化（BatchNorm） | 对每层输出归一化，加速训练 | 6 |
| 层归一化（LayerNorm） | Transformer 使用的归一化方式 | 6 |
| Dropout | 随机丢弃神经元，防止过拟合 | 6 |
| 残差连接 | 跳跃连接，让深层网络梯度畅通 | 6, 9 |
| 学习率 | 控制参数更新步长的核心超参数 | 6 |
| 学习率调度 | 训练过程中动态调整学习率 | 6 |
六、CNN 与计算机视觉
| 术语 | 一句话 | 章节 |
|---|---|---|
| CNN（卷积神经网络） | 用卷积核扫描图像提取局部特征的网络 | 7 |
| 卷积核 | 滑动窗口，提取边缘/纹理/形状等特征 | 7 |
| 池化 | 降采样操作，缩小特征图尺寸 | 7 |
| AlexNet | 2012 年 ImageNet 冠军，深度学习引爆点 | 7 |
| VGG | 用更小卷积核堆更深的网络 | 7 |
| ResNet | 引入残差连接，可以训练 152 层 | 7 |
| Inception（GoogLeNet） | 多尺度卷积并行计算 | 7 |
| YOLO | 实时目标检测，2026 年仍在广泛使用 | 7 |
| ViT（Vision Transformer） | 把图像切成 patch 输入 Transformer | 7 |
| ImageNet | 1400 万张图片的数据集，CV 领域的 ImageNet 时刻 | 7 |
| 数据增强 | 旋转/裁剪/翻转，扩充训练数据 | 7 |
| 迁移学习（CV） | ImageNet 预训练 → 下游任务微调 | 7 |
七、RNN 与序列模型
| 术语 | 一句话 | 章节 |
|---|---|---|
| RNN（循环神经网络） | 处理序列的经典架构，有记忆但串行计算 | 8 |
| LSTM（长短期记忆） | 用门控机制缓解 RNN 的梯度消失 | 8 |
| GRU（门控循环单元） | LSTM 的简化版，少一个门 | 8 |
| 双向 RNN | 同时前向和后向处理序列 | 8 |
| 梯度消失/爆炸 | RNN 深层训练的核心难题 | 8 |
| 截断 BPTT | 限制反向传播时间步数，降低计算成本 | 8 |
八、Transformer 核心（第 9 章）
| 术语 | 一句话 | 章节 |
|---|---|---|
| Transformer | 2017 年，基于自注意力的序列模型，取代 RNN | 9 |
| 自注意力（Self-Attention） | 序列中每个位置关注所有其他位置 | 9 |
| Q、K、V（Query, Key, Value） | 自注意力的三个投影矩阵 | 9 |
| 多头注意力（Multi-Head） | 并行运行多个注意力头，关注不同关系 | 9 |
| 缩放点积注意力 | QK^T/√d_k，核心计算 | 9 |
| 位置编码 | 注入序列顺序信息 | 9 |
| 正弦位置编码 | 原始 Transformer，用正弦/余弦函数 | 9 |
| 前馈网络（FFN） | 注意力后的两层 MLP，中间维度 4× | 9 |
| 编码器-解码器 | 原始 Transformer 的双组件架构 | 9 |
| Decoder-Only | 只保留解码器，2026 年所有 LLM 的架构 | 9, 10 |
| Encoder-Only | 只保留编码器，BERT 系使用 | 9 |
| Pre-LN | 先 LayerNorm 再计算，训练更稳定 | 9 |
| Post-LN | 先计算再 LayerNorm，原始设计 | 9 |
九、Transformer 进化（2020–2026）
| 术语 | 一句话 | 章节 |
|---|---|---|
| MHA（多头注意力） | 标准多头注意力，每个头独立 Q/K/V | 9 |
| MQA（多查询注意力） | 所有头共享同一组 K、V，减少 KV 缓存 | 9 |
| GQA（分组查询注意力） | MHA 和 MQA 的折中，2026 年标配 | 9 |
| RoPE（旋转位置编码） | 用旋转矩阵编码相对位置，Llama/Mistral/Qwen 使用 | 9 |
| ALiBi | 线性偏置代替位置编码 | 9 |
| FlashAttention | 分块 GPU 计算注意力，2024-2026 训练标配 | 9 |
| Sliding Window | 每个 token 只看前后固定窗口，减少计算 | 9, 10 |
| MoE（混合专家） | FFN 层替换为多专家，每次只激活少数 | 10 |
| 混合稠密+MoE | 部分层稠密、部分 MoE，2026 新趋势 | 10 |
| MLA（多头潜在注意力） | DeepSeek-V3 的注意力变体 | 10 |
| KV 缓存 | 推理时缓存已计算的 Key/Value，避免重复计算 | 10 |
十、LLM 训练（第 10–11 章）
| 术语 | 一句话 | 章节 |
|---|---|---|
| 预训练（Pretraining） | 在海量无标注文本上训练基础能力 | 10, 11 |
| 微调（Fine-tuning） | 在特定任务数据上调整预训练模型 | 11 |
| SFT（监督微调） | 用指令-回答对训练模型遵循指令 | 11 |
| RLHF（人类反馈强化学习） | 用人类偏好训练奖励模型，再用 RL 优化 | 11 |
| DPO（直接偏好优化） | 直接从偏好对学习，无需奖励模型 | 11 |
| GRPO（分组相对策略优化） | DeepSeek-R1 使用的对齐方法 | 11 |
| PEFT（参数高效微调） | 只训练少量参数，冻结大部分 | 11 |
| LoRA（低秩适配） | 插入低秩矩阵，只训练这些增量参数 | 11 |
| QLoRA | 4-bit 量化的基座 + LoRA 适配器 | 11 |
| DoRA | LoRA 改进版，分解权重矩阵 | 11 |
| Prompt Tuning | 在输入前加可学习的软提示向量 | 11 |
| 指令微调 | SFT 的一种，训练模型遵循指令格式 | 11 |
| 对齐（Alignment） | 让模型输出符合人类价值观 | 11 |
| 红队测试（Red Teaming） | 攻击性测试，找模型漏洞 | 11 |
十一、LLM 推理与部署（第 20 章）
| 术语 | 一句话 | 章节 |
|---|---|---|
| 自回归生成 | 逐 token 预测下一个词，形成完整输出 | 10, 20 |
| 贪婪解码 | 每步选概率最大的 token | 20 |
| Beam Search | 保留多条候选序列，选整体最优 | 20 |
| Top-K 采样 | 从概率最高的 K 个 token 中随机选择 | 20 |
| Top-P（Nucleus）采样 | 从累积概率达 P 的 token 中随机选择 | 20 |
| Temperature | 控制输出随机性，高=随机，低=确定 | 20 |
| 量化 | 降低模型精度（如 FP16→INT4）以减少显存 | 20 |
| GGUF | llama.cpp 使用的量化格式，CPU 友好 | 20 |
| AWQ | INT4 量化方案，2026 年默认选择 | 20 |
| GPTQ | 经典 INT4 量化方案 | 20 |
| FP8 | H100/B200 原生支持的 8-bit 格式 | 20 |
| vLLM | 高吞吐推理引擎，PagedAttention 管理 KV 缓存 | 20 |
| SGLang | 最低延迟推理引擎 | 20 |
| TensorRT-LLM | NVIDIA 官方推理引擎 | 20 |
| llama.cpp | CPU 推理框架，消费级硬件友好 | 20 |
| Ollama | 基于 llama.cpp 的本地部署工具 | 20 |
| PagedAttention | 虚拟内存式 KV 缓存管理，vLLM 核心技术 | 20 |
十二、Token 与 Tokenizer（第 10 章）
| 术语 | 一句话 | 章节 |
|---|---|---|
| Token | 模型处理文本的最小单元（子词/字符/词） | 10 |
| Tokenizer | 将文本切分成 token 的程序 | 10 |
| BPE（字节对编码） | 从字符开始，迭代合并高频对 | 10 |
| SentencePiece | Google 的 tokenizer，直接处理原始文本 | 10 |
| WordPiece | BERT 使用的 tokenizer | 10 |
| 词表大小 | tokenizer 输出的唯一 token 数量（通常 32K-256K） | 10 |
| 上下文窗口 | 模型一次能处理的最大 token 数 | 10 |
十三、Prompt 工程（第 12 章）
| 术语 | 一句话 | 章节 |
|---|---|---|
| Prompt | 给模型的输入指令/示例 | 12 |
| Zero-shot | 不给示例，直接问 | 12 |
| Few-shot | 给 2-5 个示例再问 | 12 |
| Chain-of-Thought（CoT） | 让模型输出推理步骤再给答案 | 12 |
| System Prompt | 设置模型行为、角色、约束的系统级指令 | 12 |
| Prompt Injection | 通过恶意 Prompt 绕过模型安全限制 | 12 |
| 思维树（ToT） | 分支探索多条推理路径 | 12 |
| 自洽性（Self-Consistency） | 多次采样取多数答案 | 12 |
十四、RAG（第 13 章）
| 术语 | 一句话 | 章节 |
|---|---|---|
| RAG（检索增强生成） | 先检索相关文档，再让模型基于文档生成答案 | 13 |
| Embedding | 将文本映射为稠密向量的技术 | 13 |
| 向量数据库 | 存储和检索向量的专用数据库 | 13 |
| 分块（Chunking） | 将长文档切成适合检索的小段 | 13 |
| 语义搜索 | 按含义而非关键词匹配检索 | 13 |
| 混合检索 | 稠密向量 + BM25 关键词，2026 年标配 | 13 |
| 重排序（Reranking） | 对初检结果二次排序，提升精度 | 13 |
| Graph RAG | 知识图谱 + RAG 结合，增强复杂推理 | 13 |
| Agentic RAG | Agent 自主决定检索策略 | 13 |
| 幻觉（Hallucination） | 模型生成貌似合理但事实错误的内容 | 13 |
十五、AI Agent（第 14–16 章）
| 术语 | 一句话 | 章节 |
|---|---|---|
| AI Agent | 能自主感知、规划、执行多步任务的 AI 系统 | 14 |
| ReAct | Reasoning + Acting，交替思考和行动 | 14 |
| 工具调用（Function Calling） | 模型选择并调用外部 API/函数 | 14 |
| 多 Agent 系统 | 多个 Agent 角色分工、协作完成任务 | 16 |
| MCP（模型上下文协议） | Anthropic 提出的 Agent-工具连接标准 | 15 |
| A2A（Agent-to-Agent） | Google 提出的 Agent 间通信协议 | 15 |
| LangGraph | 生产级 Agent 工作流编排框架 | 15 |
| CrewAI | 角色化多 Agent 快速原型框架 | 15 |
| AutoGen | 微软的 Azure 生态 Agent 框架 | 15 |
| OpenAI Agents SDK | GPT 原生 Agent 开发套件 | 15 |
| Google ADK | Gemini + GCP 的 Agent 开发套件 | 15 |
| LlamaIndex Workflows | 数据密集型 Agent 框架 | 15 |
| 记忆（Agent Memory） | Agent 跨对话保持状态的能力 | 14 |
| 规划（Planning） | Agent 将大任务分解为可执行步骤 | 14 |
十六、多模态（第 17–19 章）
| 术语 | 一句话 | 章节 |
|---|---|---|
| 多模态 AI | 同时处理文本、图像、音频等多种输入 | 17 |
| CLIP | OpenAI 的图文对齐模型，零样本分类 | 17 |
| VLM（视觉语言模型） | 能理解图像并生成文本的模型 | 17 |
| GPT-5.5 / GPT-5.6 | OpenAI 2026年主流多模态模型 | 17 |
| Gemini 3.5 Pro | Google 的原生多模态模型 | 17 |
| LLaVA | 开源视觉语言模型 | 17 |
| Stable Diffusion | 开源文本到图像生成模型 | 18 |
| Flux | 2024 年开源图像生成新标杆 | 18 |
| DALL-E | OpenAI 的文本到图像模型 | 18 |
| Midjourney | 商业文本到图像生成服务 | 18 |
| Sora | OpenAI 的文本到视频模型 | 18 |
| Whisper | OpenAI 的开源语音识别模型 | 19 |
| TTS（文本到语音） | 将文本转换为自然语音 | 19 |
十七、MLOps（第 21 章）
| 术语 | 一句话 | 章节 |
|---|---|---|
| MLOps | 机器学习运维，模型从开发到生产的全流程 | 21 |
| MLflow | 实验跟踪、模型注册、部署管理 | 21 |
| Weights & Biases（W&B） | 实验跟踪和可视化平台 | 21 |
| Docker | 容器化部署，环境一致性保证 | 21 |
| FastAPI | Python 高性能 API 框架，模型服务常用 | 21 |
| CI/CD | 持续集成/持续部署，自动化测试和发布 | 21 |
| 模型注册表 | 模型版本管理和存储中心 | 21 |
| 数据漂移（Data Drift） | 生产数据分布偏离训练数据 | 21 |
| 模型衰退（Model Decay） | 模型性能随时间下降 | 21 |
| A/B 测试 | 新旧模型同时上线对比效果 | 21 |
| GPU 推理 | 用 GPU 加速模型推理 | 21 |
| 批处理推理 | 离线批量处理数据而非实时响应 | 21 |
十八、2026 前沿与新兴
| 术语 | 一句话 | 章节 |
|---|---|---|
| Mamba | 线性复杂度的状态空间模型，Transformer 替代候选 | 10 |
| Jamba | Mamba + Transformer 混合架构 | 10 |
| RWKV | RNN 式的线性复杂度 Transformer 替代 | 10 |
| SimPO | 无需参考模型的简化偏好优化 | 11 |
| ORPO | 合并 SFT 和对齐的偏好优化 | 11 |
| 模型合并（Model Merging） | 将多个微调适配器合并为一个模型 | 11 |
| 推测解码（Speculative Decoding） | 用小模型预测大模型输出，加速推理 | 20 |
| Late Chunking | 先编码整篇文档再分块，提升检索质量 | 13 |
| Vibe Coding | 用自然语言 + AI 写代码的开发方式 | 22 |
| Codex / Claude Code | AI 编码 Agent，自主完成编程任务 | 22 |
| 具身智能（Embodied AI） | 在物理世界中行动的 AI（机器人） | 22 |