文章

深挖-分块策略实测

一句话理解 「分块该切多大」这个问题，我在自己的 131 万字笔记上真跑了一遍。结论和教科书不一样：在本来就有标题结构的文档上，「按标题切」比任何固定字数都强，而且强得不是一点。 零基础理解

概念-采样策略

AI 生成文本时，不是直接选概率最高的词，而是从概率分布中"采样"——Temperature、Top-K、Top-P 是三种控制"随机性"的策略，决定 AI 是保守还是创意。

概念-线性回归

线性回归是最简单的机器学习算法：找一条直线（或超平面）来拟合数据，让预测值和真实值的差距最小。

概念-特征工程

特征工程是把原始数据"翻译"成模型能理解的语言——好的特征能让简单模型获得好效果，差的特征让复杂模型也无能为力。

概念-优化器详解

优化器是神经网络的"导航系统"——它决定模型参数往哪个方向调、调多大步，让损失函数值越来越小。Adam 是 2026 年最常用的优化器。

概念-自注意力机制详解

自注意力机制（Self-Attention）让序列中的每个词都能"看到"所有其他词，直接计算任意两个词之间的关联强度——这是 Transformer 超越 RNN 的核心武器。

概念-LLM概述

LLM（Large Language Model，大语言模型）是一种通过海量文本训练出来的神经网络，核心能力是"预测下一个词"——但规模足够大后，涌现出推理、翻译、编程等复杂能力。

概念-DPO

DPO（Direct Preference Optimization）是一种无需强化学习的对齐方法，直接用人类偏好数据微调模型，比 RLHF 更简单、更稳定。

概念-RLHF

RLHF（Reinforcement Learning from Human Feedback）是用人类偏好来训练 AI 的方法：先让人类对 AI 的多个回答打分，再训练一个"奖励模型"来模拟人类的打分标准，最后用强化学习让 AI 往高分方向优化。

概念-SFT

SFT（Supervised Fine-Tuning，监督微调）是用高质量"问题-答案"对来训练模型，让它学会按指令回答——这是把"只会补全文本"的预训练模型变成"能听懂人话"的对话模型的关键一步。

概念-WikiLink

WikiLink（笔记名）是 Obsidian 的核心链接语法，用双方括号包裹笔记名即可创建双向链接——既可以从 A 跳到 B，也能在 B 上看到"谁链接了我"。

概念-重排序

一句话理解 重排序（Reranking）是 RAG 系统中的"精挑细选"环节：从初步检索返回的几十条结果中，用更精确的模型重新排序，挑出最相关的 Top-K 送给 LLM。 为什么需要重排序

Agent 评估：如何衡量自主 AI 的能力

一句话理解 评估 LLM 的对话能力有 MMLU、Chatbot Arena，但评估 AI Agent 要复杂得多——Agent 需要规划、使用工具、与环境交互、在长时间任务中保持一致性。SW

概念-LLaVA

概述 LLaVA（Large Language and Vision Assistant）是当前最主流的开源视觉语言模型（Vision-Language Model, VLM）之一，由威斯康星

概念-AWQ

AWQ（Activation-aware Weight Quantization）是一种 4-bit 权重量化方法，通过分析激活值分布来保护重要权重通道，在几乎不损失精度的情况下将模型缩小 4 倍。

SmoothQuant: 平滑量化消除激活异常值

一句话理解 SmoothQuant 解决 LLM 量化的核心难题：激活值（activation）中存在少数异常大的值（outlier），这些异常值让 INT8 量化几乎不可用。SmoothQu

概念-模型压缩

模型压缩是用各种技术把大模型"变小变快"，让它在普通硬件上也能跑——核心方法包括量化、蒸馏、剪枝、低秩分解。

术语对照表

- 专有名词索引 — 250+ 中文词条索引 - 标签索引 — 按标签浏览 - 知识图谱 — 知识全景图

标签索引

在 Obsidian 中： - 搜索 tag:智能体 查看所有 Agent 相关笔记 - 搜索 tag:基础 tag:深度学习 查看基础深度学习笔记 - 在图表视图中按标签着色

自测题

1. AI 的三次浪潮分别是什么？每次浪潮的核心技术是什么？ 2. 符号主义和连接主义的核心区别是什么？ 3. 2026 年 AI 格局与 2023 年比有什么关键变化？

章间知识图谱

subgraph 机器学习层 Ch04Ch04 机器学习核心算法 Ch05Ch05 模型评估与特征工程 end

实践项目

零基础入门：项目一 → 项目二 → 项目三 → 项目四

11.2 全量微调与LoRA

全量微调（Full Fine-Tuning）是最传统、最彻底的微调方式：在预训练模型的基础上，用特定任务的数据集，更新模型的所有参数，使模型从"通用能力"转向"特定领域能力"。^Howard & Ruder, "Universal Language Model Fine-tuni

11.4 SFT：让模型学会"回答"而不是"续写"

想象你去图书馆读书。过去的三年，你每天从早到晚翻阅图书馆里所有的书——小说、论文、新闻、百科、代码、论坛帖子。你读完了相当于整个互联网的文字量。现在的你能续写任何一段文字的开头，能补全一首诗，能根据前文猜测接下来最可能出现的词。但有人突然问你："帮我写一封给客户的道歉邮件"，你愣

11.5 DPO与偏好对齐

SFT（监督微调，详见第11.6节）教会了模型"怎么回答"。但会回答，不等于回答得好。 想象你在教一个学徒做菜。SFT阶段，你给了他100本菜谱，他学会了每道菜的标准做法——油温多少、调料多少、翻炒几分钟。现在你让他做一盘鱼香肉丝，他做出来了，步骤完全正确。但你又让他做第二遍，说

11.7 2026年微调新趋势

一、概念：2026年的微调版图发生了什么变化 到2026年，大模型微调领域已经不再是"选LoRA还是选全量微调"的简单选择题。五个重要趋势正在重塑整个微调实践 -- 有些是方法层面的进化（Do

Agent 规则 — Obsidian Vault 协议

所有 AI agent 与此 vault 交互时必须遵守的规则。

阅读指南

打开这个 vault，你可能不知道先看什么。这里有三条路，按你的情况选一条。

信息熵 (Information Entropy)

信息熵（Information Entropy）是信息论的核心概念，由 Claude Shannon 于 1948 年提出。熵衡量一个随机变量的不确定性或信息量。在机器学习中，信息熵及其衍生概念（交叉熵、KL 散度）是理解损失函数、模型评估和信息理论的基础。几乎所有分类问题的损失

Bagging (Bootstrap Aggregating)

Bagging (Bootstrap Aggregating, 装袋法/自助聚合) 是一种并行式集成学习方法。其核心思想是：通过对训练集进行多次自助采样 (Bootstrap Sampling) 生成多个不同的子训练集，在每个子集上独立训练一个基学习器 (Base Learner

Boosting (提升法)

Boosting (提升法) 是一种串行式集成学习方法，核心思想是：通过迭代训练一系列弱学习器 (Weak Learners)，每个后续学习器都聚焦于前一个学习器的错误样本，最终将所有弱学习器加权组合成一个强学习器。

Isolation Forest (孤立森林/隔离森林)

Isolation Forest (iForest, 孤立森林/隔离森林) 是一种基于集成学习的无监督异常检测算法，由 Liu, Ting, 和 Zhou 于 2008 年提出。其核心思想极其简洁：异常点 (Anomaly) 是"少而不同"的，因此更容易被随机分割隔离。

SVM 支持向量机 (Support Vector Machine)

SVM 是一个"画线"的分类器——在两类数据之间画一条线(或超平面)，让这条线离两边最近的数据点都尽可能远。这条线不是随便画的，而是找"最大间隔"的那条。

概念-XGBoost

一句话理解 XGBoost（eXtreme Gradient Boosting）是 2014 年由陈天奇提出的梯度提升树算法，2026 年仍是结构化/表格数据的王者，在 Kaggle 竞赛和工

决策树 (Decision Tree)

决策树 (Decision Tree) 是机器学习中最基础、最直观的模型之一。它的核心思想非常简单：通过一系列 if-then 规则将数据不断划分，最终做出预测。决策树既可以用于分类 (Classification Tree) 也可以用于回归 (Regression Tree,

异常检测 (Anomaly Detection)

异常检测（Anomaly Detection / Outlier Detection）是机器学习中的一项核心技术，目标是识别数据中不符合预期模式、行为异常的样本。这些异常样本可能代表欺诈交易、系统故障、网络攻击、医疗异常或罕见事件。异常检测广泛应用于金融风控、工业运维、网络安全、

无监督学习 (Unsupervised Learning)

无监督学习（Unsupervised Learning）是机器学习的三大范式之一（另两个为监督学习和强化学习）。与监督学习不同，无监督学习处理的是没有标签的数据，目标是从数据本身发现隐藏的结构、模式或规律。无监督学习更接近人类的学习方式——我们大部分知识是通过观察和归纳获得的，而

核方法 (Kernel Method)

一句话理解 将数据隐式映射到高维空间,在原始空间计算高维内积——在低维空间中分不开的数据,映射到高维空间后可能就分开了,而且我们不需要真的去做这个映射。 零基础理解 想象桌子上有两个交叉的圆环

迁移学习 (Transfer Learning)

在任务A上学到的知识迁移到任务B——AI时代的"举一反三"。你不需要从零开始教模型识别猫,只需要在已经理解"毛茸茸四条腿"的模型上微调即可。

概念-随机森林

随机森林（Random Forest）是多棵决策树的 Bagging 集成：每棵树用随机抽样的样本和随机选择的特征训练，最终通过投票（分类）或平均（回归）输出结果。它是快速获得可靠 baseline 的首选算法，也是工业界最常用的可解释性模型之一。

集成学习 (Ensemble Learning)

集成学习（Ensemble Learning）是一种通过组合多个基学习器（Base Learner）来获得更优预测性能的机器学习范式。其核心思想是"三个臭皮匠，顶个诸葛亮"——多个弱学习器通过适当的组合策略，可以形成一个强学习器。集成学习是 Kaggle 竞赛和工业应用中的常胜将

KNN（K 近邻）

机器学习中最简单的算法：你要分类一个东西，就看看离它最近的 K 个邻居是什么。 一句话理解 KNN 不做训练。它只是把全部训练数据记下来，预测时找最近的 K 个邻居投票。"懒惰学习"（Lazy

深挖-SVM

一句话理解 SVM 的核心思想是 找到一个超平面，使得不同类别样本之间的间隔（margin）最大化。这个"最大间隔"的设计让 SVM 天然具有优秀的泛化能力，因为它不依赖于恰好落在决策边界附近

深挖-决策树

一句话理解 决策树是一种通过递归地将数据按特征值分裂成子集来构建的树形模型，每个内部节点代表一个特征上的判断（if-then 规则），每条从根到叶的路径就是一条分类规则。它就像玩"20 个问题

5.1 过拟合 vs 欠拟合：模型的两大病症

在谈评估指标之前，先搞清楚模型"学得不好"的两种典型情况。 5.1.1 欠拟合（Underfitting） 模型太简单，连训练数据里的规律都没学会。就像学生只背了课本第一页就去考试——连做过的题都做不对。 | 特征 | 表现 | |---|---| | 训练集表现 | 差（训练误

5.2 分类问题的评估

混淆矩阵：一个 2x2 的表格。 - TP（真阳性）：病人有病，AI 说有病 —— 正确 - FP（假阳性）：病人没病，AI 说有病 —— 误报 - TN（真阴性）：病人没病，AI 说没病 —— 正确 - FN（假阴性）：病人有病，AI 说没病 —— 漏报 准确率 = (TP +

5.4 评估指标的完整体系

这一节给出完整的指标体系——每类问题的每种指标，都包含公式、直觉和适用场景。选择正确的指标，等于告诉模型"你该朝哪个方向优化"。 在深入之前，先建立回归评估的直觉。回归问题关心的是"预测值离真实值有多远"，三句话概括核心指标： MAE（平均绝对误差）：预测值和真实值的绝对差距的平

5.5 混淆矩阵深度解析

混淆矩阵是所有分类指标的源头。理解它，你就能自己推导出任何分类指标。 5.5.1 混淆矩阵的四个象限 TP（True Positive，真正例）：模型说"是"，实际也是"是"。病人有病，AI 说有病——正确诊断。 FP（False Positive，假正例）：模型说"是"，实际是

5.6 交叉验证完全指南

交叉验证是机器学习中最基本的评估技术之一。它的核心思想很简单：不要只用一次划分来评估模型，多次划分取平均，结果更可靠。 5.6.1 为什么需要交叉验证 单次训练/测试划分的问题： - 测试集恰好全是简单样本 → 模型看起来比实际好 - 测试集恰好全是困难样本 → 模型看起来比实际

5.7 特征工程实战

特征工程是机器学习中"将原始数据转化为模型能理解的形式"的过程。2026 年，虽然深度学习减少了对手工特征工程的依赖，但在传统 ML 和结构化数据场景中，特征工程仍然是决定模型性能的最关键因素。好的特征能让简单的模型超越复杂的模型。 5.7.1 数值特征处理 数值特征是机器学习中

5.8 2026 年：AutoML 和自动化特征工程

传统机器学习中，特征工程是"手工活"——数据科学家花 70% 的时间洗数据、造特征、选特征。2026 年，AutoML（自动机器学习）工具正在改变这个局面，但理解其能力和局限至关重要。 5.8.1 主流 AutoML 工具对比 AutoGluon（AWS 开源，2020 年发布）

第5章 · 模型评估与特征工程

Ch04 机器学习核心算法 讲了五个必知算法。但"算法好不好"需要量化指标。这篇讲评估方法和特征工程的入门。 生活比喻：模型评估就像考试——你刷了很多题（训练模型），但真正检验水平的是模拟考（测试集）。过拟合是死记硬背、只会做原题换个数字就不会了；欠拟合是根本没学进去，连原题都做

交叉验证 (Cross-Validation)

概述 交叉验证（Cross-Validation, CV）是机器学习中评估模型泛化能力（Generalization）的核心技术。其基本思想是将数据集划分为多个互斥子集（Fold），轮流使用其

偏差与方差 (Bias-Variance Tradeoff)

概述 偏差-方差权衡（Bias-Variance Tradeoff）是机器学习中最核心的理论困境之一。它描述了模型在拟合训练数据时面临的两种对立误差来源：偏差（Bias）衡量模型预测值与真实值

偏差方差权衡 (Bias-Variance Tradeoff)

概述 偏差-方差权衡（Bias-Variance Tradeoff）是机器学习理论中最核心的概念之一，描述了模型预测误差可以被分解为三个不可约的成分：偏差（Bias）、方差（Variance）

学习曲线 (Learning Curves)

概述 学习曲线（Learning Curves）是机器学习和深度学习中用于诊断模型性能的核心可视化工具。它通过绘制训练集大小与模型性能（误差/准确率）之间的关系，帮助我们回答一系列关键问题：模

归一化 (Normalization)

把不同尺度的数据缩放到同一范围,消除量纲影响——让"身高(150-190cm)"和"体重(40-120kg)"和"年龄(0-100岁)"这三个特征在同一个尺度上"对话",而不是让某一维主导模型学习。

数据增强 (Data Augmentation)

概述 数据增强（Data Augmentation）是一种通过人工方式扩充训练数据的技术，通过对原始数据施加各种保持语义的变换（Transformations），生成新的、多样化的训练样本。它

正则化 (Regularization)

正则化是机器学习中用于防止模型过拟合的一类技术统称。其核心思想是在模型训练过程中引入额外的约束或惩罚，迫使模型在拟合训练数据与保持简洁之间取得平衡。正则化遵循奥卡姆剃刀原则 (Occam's Razor)：在拟合能力相当的情况下，更简单的模型具有更好的泛化性能。 数学框架 正则化

过拟合 (Overfitting)

过拟合是机器学习模型在训练数据上表现极好，但在未见过的测试数据上表现显著变差的现象。从统计学习角度看，过拟合意味着模型捕捉到了训练数据中的噪声和随机波动，而非真实的底层分布规律。过拟合与高方差 (High Variance) 直接对应，是偏差-方差权衡 (Bias-Varianc

过拟合与欠拟合 (Overfitting & Underfitting)

过拟合 = 死记硬背训练数据,泛化能力差; 欠拟合 = 连训练数据都没学好,模型能力不足。两者都是模型学习失败的表现,需要不同的策略应对。

Embedding (嵌入 / 向量表示)

Embedding（嵌入）是机器学习中将离散对象（词、句子、文档、图像、用户、商品等）映射到连续稠密向量空间的技术。与传统的 One-Hot 编码（高维稀疏）不同，Embedding 将对象表示为低维稠密向量（通常 128-4096 维），向量之间的距离和方向蕴含了语义信息。Em

GELU (Gaussian Error Linear Unit)

GELU（Gaussian Error Linear Unit）是一种平滑的激活函数，由 Dan Hendrycks 和 Kevin Gimpel 于 2016 年提出。GELU 是 ReLU 的平滑近似版本，结合了 ReLU 的线性特性和 Dropout 的正则化思想，通过输入

Leaky ReLU 与 ReLU 变体家族

ReLU (Rectified Linear Unit) 是深度学习中最常用的激活函数，但它有一个著名缺陷："死亡神经元" (Dying ReLU) 问题——当神经元输出恒为负值时，梯度永远为 0，该神经元就"死了"，再也不会被激活。为了解决这个问题，研究者提出了多种 ReLU

ReLU 与激活函数 (Activation Functions)

激活函数给神经网络注入非线性——没有它，一万层网络也只等价于一层线性变换。ReLU 凭"简单粗暴"统治了十年，GELU 凭"平滑优雅"成为 Transformer 标配。

概念-SAE

稀疏自编码器（Sparse Autoencoder, SAE）是机械解释性（Mechanistic Interpretability）领域的核心工具，用于从神经网络的激活中提取可解释的特征。SAE 的核心理念是：虽然单个神经元通常是多义的（polysemantic，即一个神经元响

Softmax 函数

Softmax 把任意实数向量变成概率分布——每个元素变成 (0,1) 之间的数，且所有元素之和为 1。它是神经网络从"打分"到"决策"的桥梁。

反向传播 (Backpropagation)

反向传播是神经网络的学习引擎——把输出端的误差沿着网络逐层传回去，算出每个参数对误差的"贡献"，然后让参数朝减小误差的方向更新。

学习率 (Learning Rate)

概述 学习率（Learning Rate, LR）是深度学习优化中最重要的超参数，没有之一。它控制着模型参数每次更新的步长大小，直接决定了模型能否收敛、收敛速度有多快、以及最终能达到的性能水平

对比学习 (Contrastive Learning)

对比学习（Contrastive Learning）是一种自监督表示学习方法，核心思想是：拉近相似样本（正样本对）的表示，推远不相似样本（负样本对）的表示。通过构造正负样本对并在表示空间中施加对比约束，模型可以学习到高质量的特征表示，无需人工标注。对比学习是 CLIP、SimCL

批归一化 (Batch Normalization) 与归一化家族

批归一化（Batch Normalization，BN）由 Sergey Ioffe 和 Christian Szegedy 于 2015 年提出，是深度学习训练中的一项里程碑式技术。BN 通过对每个 mini-batch 的激活值进行归一化（均值为 0，方差为 1），然后进行可

损失函数 (Loss Function)

损失函数是机器学习中衡量模型预测值与真实值之间差异的数学函数。模型训练的目标是最小化损失函数，使预测结果尽可能接近真实标签。损失函数的选择直接影响模型的收敛速度、最终精度和泛化能力。 核心概念 损失函数 L(y, \haty) 接受真实标签 y 和模型预测 \haty，输出一个非

梯度下降 (Gradient Descent)

梯度下降是神经网络训练的"导航系统"——沿着损失函数梯度的反方向走，每一步都让模型离最优解更近一点。2026 年，AdamW 是这个导航系统的默认选择。

梯度消失与梯度爆炸 (Vanishing/Exploding Gradient)

梯度消失（Vanishing Gradient）和梯度爆炸（Exploding Gradient）是深层神经网络训练中最根本的挑战之一。在反向传播（Backpropagation）过程中，梯度从输出层逐层向输入层传播。由于链式法则的连乘效应，梯度可能以指数级速度衰减（梯度消失）或

深度学习 (Deep Learning)

深度学习是机器学习的一个子领域——用多层神经网络从数据中自动学习"层次化表示"，不再需要人工设计特征。它是 2012 年以来 AI 革命的核心引擎。

激活函数 (Activation Functions)

激活函数（Activation Function）是神经网络中引入非线性的关键组件。如果没有激活函数，无论网络有多少层，整个模型都等价于一个线性变换（因为线性变换的复合仍是线性变换），无法拟合复杂的非线性函数。激活函数为每个神经元引入非线性变换，使神经网络具备通用近似能力（Uni

ConvNeXt（深挖）

ConvNeXt 是 2022 年 Meta FAIR 提出的"现代化 CNN"——它在不引入注意力机制的前提下，借鉴 Transformer 的设计理念对 ResNet 做系统性改造，最终在 ImageNet 上达到与 Swin Transformer 相当的精度，证明了"CN

状态空间模型（深挖）

状态空间模型（State Space Model, SSM）是一类将序列建模从 O(n^2) 降到 O(n) 线性复杂度的架构。从经典控制论中的 SSM 出发，经过 S4（结构化状态空间）、H3（Hybrid H3）、Mamba（选择性 SSM）的演进，到 2026 年，SSM

7.1 卷积：滑动窗口看局部

上一章 全连接网络 面对图像时有一个致命缺陷：将一张 224x224 的彩色图片展开，瞬间变成 150528 个独立数字，第一层若有 1000 个神经元，参数量直奔 1.5 亿。人眼不是这样看世界的——你不会同时看清一张照片的所有像素，你的视线在一个小区域内聚焦，然后移动。

7.10 图像分割：像素级的理解

分类告诉你"图片里有猫"，检测告诉你"猫在 (100, 200) 到 (300, 400) 这个框里"，分割告诉你每个像素属于什么——猫的每一根毛、背景的每一片叶子都被精确标注。 7.10.1 语义分割（Semantic Segmentation）：每个像素一个类别 FCN（Fu

7.11 CNN vs ViT vs 混合架构：2026 年 CV 领域格局

CNN 擅长局部特征（卷积核 3x3 的小窗口）。Transformer 擅长全局关系（自注意力看整张图任意两个位置的关系）。 2020 年 ViT（Vision Transformer，视觉 Transformer） 出现后——它把图片切成一个个小方块（patch），每个块当作

7.12 2026年CV的应用前沿

CNN在2026年已经渗透到各行各业，以下领域是增长最快、影响最深远的： 医学影像诊断：CNN在X光片、CT、MRI图像上检测肿瘤、骨折、病变的准确率已经超过资深放射科医生。2026年，FDA批准的AI医疗影像产品超过200个。关键突破是"多模态医学AI"——CNN分析影像 +

7.13 什么时候选什么技术

7.13.1 选 CNN 的场景 - 数据量少（几千到几万张图片）——CNN 的局部假设本身就是一种"先验知识"，小数据下比 Transformer 泛化好 - 需要实时响应——YOLO 检测

7.14 CNN学习路线

如果你想系统学习CNN，按以下路线走，从基础到前沿： 第一站：LeNet（1998）——理解CNN的基本单元 学什么：卷积层、池化层、全连接层的串联方式。用MNIST手写数字识别跑通第一个CNN。搞清楚"卷积核在做什么"和"特征图是什么"。耗时约2小时。 第二站：AlexNet（

7.2 卷积运算的数学直觉

7.2.1 卷积核到底在做什么 卷积核本质上是一个模式检测器。想象你有一个3x3的小窗口，里面装着9个数字（权重），你把这个窗口在图片上滑动，每一步计算窗口和图片局部区域的点积。不同的权重组合

7.3 池化：缩小特征图

卷积层输出的是几十甚至几百张特征图，每张的尺寸和原图差不多（如果用了 same padding）。一张 224x224 的输入经过一个 64 通道的卷积层后，输出是 64x224x224——超过 320 万个数字。如果不加处理直接送入下一层，计算量太大，且每个数字对最终判断的重要

7.4 CNN 的核心组件深入

把 CNN 拆开来看，每个组件都在解决一个具体问题。理解每个组件"为什么存在"，比记住它的公式重要得多。 7.4.1 卷积层（Convolutional Layer）：CNN 的核心引擎 卷积层有几个关键超参数，决定了特征图的大小和感受野： 核大小（Kernel Size）：最常

7.5 经典架构

AlexNet（2012）：深度学习引爆点。8 层，第一次在 ImageNet（一个包含 1000 多个类别、超过 120 万张人工标注图片的超大规模图像数据库——2010 年代它是判断一个视觉模型好不好的"奥运会"标准）上用 GPU（图形处理器，原本为游戏渲染设计，但它的几千个

7.6 经典 CNN 架构详解：从 1998 到 2022 的创新之路

每一个经典架构都解决了一个核心问题，理解它们就是理解 CNN 的进化史。 7.6.1 LeNet-5（1998）：一切开始的地方 Yann LeCun 在 1998 年设计了 LeNet-5，用于手写数字识别（MNIST 数据集）。结构极其简单：Conv → Pool → Con

7.8 CNN 的训练技巧

训练一个高性能 CNN 不只是搭好架构——训练技巧同样重要，有时甚至比架构更重要。2026 年的最佳实践包括： 7.8.1 数据增强（Data Augmentation）：凭空创造数据 CNN 需要大量数据才能泛化，但标注数据很贵。数据增强在训练时"凭空"创造更多训练样本。 基础

7.9 目标检测 — 从 R-CNN 到 YOLO

目标检测不是"这张图是什么"，而是"这张图里有什么，分别在哪里"。需要同时预测物体的类别和边界框（bounding box）。 7.9.1 两阶段检测器：先找候选区域，再分类 R-CNN（2014）：用选择性搜索（Selective Search）生成约 2000 个候选区域，每

第7章 · CNN 与计算机视觉

Ch06 神经网络基础 讲了一个通用网络——全连接层堆叠。但处理图片时，全连接层有致命缺陷：把一张 224x224 的图片展开成 50176 个数字，第一层就有几千万个参数。太多了，根本训练不动。 CNN（卷积神经网络）解决了这个问题。它的核心思想朴素而深刻：图片中相邻的像素才有

对比-CNNvsTransformer

概述 CNN 和 Transformer 是深度学习两大核心架构。CNN 统治计算机视觉近十年，Transformer 自 2020 年 ViT 起全面渗透视觉领域，2026 年两者在各自优势

CNN 卷积神经网络 (Convolutional Neural Network)

CNN 是专门为图像设计的神经网络——通过卷积核扫描图像提取局部特征，通过池化压缩信息，通过多层堆叠从边缘到纹理到物体逐级抽象。它是计算机视觉过去十年的绝对统治者。

卷积核 (Convolution Kernel)

一句话理解 滑动窗口,在图像上扫描提取局部特征——卷积核是CNN的"眼睛",通过参数化的滤波器从图像中提取边缘、纹理、形状等特征。 零基础理解 想象你用手电筒照一张大图,每次只能看到手电筒光圈

深挖-YOLO (You Only Look Once)

一句话理解 YOLO (You Only Look Once) 是实时目标检测领域的标杆算法，将目标检测建模为单一的回归问题——一次前向传播同时预测边界框 (Bounding Box) 和类别

8.1 RNN：有记忆的网络

全连接网络和 CNN 都是"看完就忘"——输入一个数据，输出一个结果，下一个输入和上一个没关系。RNN 多了一个"隐藏状态"——网络处理每个单词时，会参考上一个单词留下的记忆。 8.1.1 展开循环图：信息如何在时间步间传递 RNN 的核心思想可以用一句话概括：同一个网络，在不同

8.2 LSTM：更长的记忆

普通 RNN 有"短期记忆丧失"——第 100 个词很难影响第 1 个词的理解。原因是梯度在反向传播中指数衰减（反向传播过 100 层，梯度的乘积越来越小）。 LSTM（长短期记忆，1997 年）用三个"门"解决了这个问题： 8.2.1 遗忘门：决定扔掉什么 遗忘门看当前的输入和

8.3 梯度消失与梯度爆炸：为什么深层 RNN 训练不好

这是 RNN 最核心的技术难题，也是理解 LSTM/GRU 为什么被发明的关键。 8.3.1 梯度是什么 训练神经网络 = 不断调整参数，让预测更准确。梯度就是"每个参数应该往哪个方向调、调多少"的信号。梯度大 = 这个参数需要大幅调整；梯度小 = 这个参数基本不用动。 8.3.

8.4 双向 RNN：同时看过去和未来

前面讲的 RNN 都是单向的——从左到右读，只能看到"过去"的信息。但有些任务需要同时看到上下文： - "我今天很，因为考试得了满分" —— 只看前面不知道填什么，看到后面"满分"才知道是"开心" - 命名实体识别中，"华盛顿"是人名还是地名，取决于前后文 双向 RNN 的做法：

8.5 Seq2Seq：输入一串，输出一串

假设你要把"我打你"翻译成英文"I hit you"。这不是简单的单词替换——中文三个字，英文三个词，但顺序不同（"打"对应"hit"在中间，"我"对应"I"在开头）。更关键的是，你需要先理解整个中文句子的含义，然后用英文的语法重新表达。

8.6 2026 年：理解 RNN 是理解序列建模的基础

2026 年，几乎所有大模型（GPT-5.5、Claude Opus 4.8、Gemini 3.5 Pro）都基于 Transformer 架构。你可能会问：既然 Transformer 统治了一切，为什么还要学 RNN？

第8章 · RNN 与序列模型

Ch07 CNN 与计算机视觉 讲了卷积核怎么看图。但图片是静态的——一张图就是一个快照。文字不一样——"我打你"和"你打我"词一样，顺序不同，意思完全不同。 RNN（循环神经网络）就是为"顺序敏感"的数据设计的。 生活比喻：RNN 像一个人边读小说边记笔记——每读完一句，你把这

对比-RNNvsTransformer

概述 RNN（含 LSTM/GRU）和 Transformer 是处理序列数据的两代架构。Transformer 凭借并行计算和长距离建模能力在 2017 年后逐步取代 RNN 成为 NLP

GRU 门控循环单元 (Gated Recurrent Unit)

GRU 是 LSTM 的简化版——把三个门精简为两个门(更新门+重置门)，去掉细胞状态只保留隐藏状态。参数更少、训练更快，效果经常差不多。

LSTM 长短期记忆网络 (Long Short-Term Memory)

LSTM 是 RNN 的升级版——通过三个门(遗忘门、输入门、输出门)和一个细胞状态，解决了简单 RNN 记不住长距离信息的问题。

Mamba (状态空间模型)

Mamba 是由 Albert Gu 和 Tri Dao 于 2023 年提出的基于结构化状态空间模型（Structured State Space Model, SSM）的序列建模架构。它通过引入选择性扫描（Selective Scan）机制，使 SSM 的参数能够根据输入动态

概念-RingAttention

Ring Attention 是一种分布式注意力计算算法，旨在突破 GPU 显存限制，实现百万级 token 的上下文窗口训练和推理。Ring Attention 将长序列切分到多个设备（GPU）上，通过环形通信（Ring Communication）在设备间传递 key-val

Transformer 架构

Transformer 是由 Vaswani 等人在 2017 年论文 "Attention Is All You Need" 中提出的神经网络架构。它完全基于注意力机制（Attention Mechanism），摒弃了传统的循环（RNN）和卷积（CNN）结构。Transform

上下文窗口（深挖）

上下文窗口（Context Window）是模型在一次推理中能"看到"的最大 token 数量。从 GPT-1 的 512 tokens 到 2026 年 Gemini 3.5 Pro 的 2M tokens，上下文窗口的爆炸式增长正在重塑 AI 应用的设计范式——从"如何压缩信

位置编码 (Position Encoding)

Transformer 的自注意力机制本身是置换不变的（Permutation Invariant）——即无论输入序列的顺序如何打乱，注意力输出的结果集合都相同。这与自然语言的时序特性相矛盾："我打你" 和 "你打我" 含义完全不同。位置编码（Position Encoding

注意力机制 (Attention Mechanism)

让模型"关注"输入中最重要的部分——不是所有输入都同等重要，注意力机制让模型学会给不同位置分配不同的权重。

深挖-ViT (Vision Transformer)

一句话理解 把图像切成固定大小的 patch，每个 patch 当作一个 token，直接送入标准 Transformer Encoder 进行分类——全程不使用卷积操作，打破了 CNN 在计

概念-DeepSeek

DeepSeek（深度求索）是中国领先的 AI 研究公司，专注于大语言模型（LLM）和通用人工智能（AGI）的研究与开发。DeepSeek 以高性价比的开源模型、创新的架构设计（MoE + MLA）和独特的训练方法（GRPO）闻名，在 2024-2026 年间对全球 AI 格局产

Google Gemini 模型家族

概述 Gemini 是 Google DeepMind 开发的多模态大语言模型家族，自 2023 年 12 月首次发布以来，已经发展成为最具竞争力的 AI 模型生态系统之一。Gemini 的独

概念-Jamba

一句话理解 Jamba 是 Mamba（状态空间模型）与 Transformer 的混合架构 LLM，部分层用 Mamba 处理长序列（线性复杂度），部分层用 Transformer 捕捉全局

MoE 混合专家 (Mixture of Experts)

MoE 是一种"众人拾柴火焰高"的架构——模型包含多个"专家"子网络，但每次推理只激活其中一小部分。这让模型参数总量可以极大(万亿级)，但实际计算量只增加很少。

概念-RLAIF

RLAIF（Reinforcement Learning from AI Feedback，基于AI反馈的强化学习）是指用AI模型替代人类提供偏好信号或反馈，训练另一个AI模型的策略。相较于RLHF（Reinforcement Learning from Human Feedba

RWKV (Receptance Weighted Key Value)

一句话理解 RNN式的线性复杂度Transformer替代方案——训练像Transformer一样并行,推理像RNN一样快,试图在"注意力"的高性能和"RNN"的高效率之间找到平衡点。 为什么

Token (词元)

Token 是 LLM 处理文本的最小单位——不是字，不是词，而是介于两者之间的"子词单元"。LLM 先把文本切成 Token，再给每个 Token 一个数字 ID，然后才能做数学运算。

推理模型 (Reasoning Models)

概述 推理模型 (Reasoning Models) 是 2024-2026 年间 LLM 领域最重要的范式创新。与传统 LLM 直接生成答案不同，推理模型在生成最终答案之前会先进行显式的、可

深挖-Mamba

一句话理解 基于状态空间模型 (State Space Model, SSM) 的序列建模架构，通过在 SSM 中引入输入依赖的选择性机制 (Selective Scan)，实现了与 Tran

长上下文 (Long Context) — 深度解析

长上下文 (Long Context) 是指大语言模型 (LLM) 能够一次处理的最大 token 数量，即上下文窗口 (Context Window) 的大小。2026 年，主流模型已普遍支持 128K1M+ tokens 的上下文窗口，部分模型甚至达到 2M10M token

项目五：从零训练一个分词器

用 BPE（字节对编码）算法，从一个文本文件里学出一个分词器。训练完成后，你可以把任意中文句子切成 token。

对比-DPOvsRLHF

概述 DPO（Direct Preference Optimization）和 RLHF（Reinforcement Learning from Human Feedback）都是将人类偏好注

对比-LoRvsQLoRA

概述 LoRA（Low-Rank Adaptation）和 QLoRA（Quantized LoRA）都是参数高效微调（PEFT）方法，QLoRA 在 LoRA 基础上引入量化技术，大幅降低显

对比-SFTvsRLHF

概述 SFT（Supervised Fine-Tuning）和 RLHF（Reinforcement Learning from Human Feedback）是 LLM 训练管线中两个关键阶

GRPO (Group Relative Policy Optimization)

一句话理解 DeepSeek-R1使用的对齐方法——对同一个问题生成一组回答,好的奖励差的惩罚,组内相互比较,不需要单独的奖励模型。像"小组内排名"而不是"老师打分"。 为什么需要GRPO:

概念-ORPO

ORPO（Odds Ratio Preference Optimization，优势比偏好优化）是2024年提出的突破性对齐算法，由韩国KAIST团队开发。ORPO的核心创新在于：将SFT（Supervised Fine-Tuning）和偏好对齐合并为单一训练步骤，无需单独的奖励

概念-SelfInstruct

Self-Instruct（自我指令）是一种通过AI模型自动生成训练数据的方法，由华盛顿大学和Allen AI在2022年底提出。其核心思想是：让AI模型自己生成指令-响应对，然后用这些合成数据训练自己或更小的模型。这一方法极大地降低了对人工标注数据的依赖，开启了合成数据驱动模型

概念-SimPO

SimPO（Simple Preference Optimization，简化偏好优化）是2024年由普林斯顿大学等机构提出的对齐算法。SimPO的核心理念是极简主义：将偏好优化简化为两个关键要素——使用平均对数概率作为奖励（而非参考模型比较），以及引入目标奖励边际（target

模型训练管线

一句话理解 2026 年完整的模型训练管线包括：预训练 (Pre-training) → 监督微调 (SFT) → 偏好对齐 (DPO/RLHF) → 强化学习进阶 (GRPO) → 模型合并

精选训练数据集 (Curated Training Data)

概述 训练数据是 LLM 性能的基石。2023 年之前，LLM 训练主要依赖大规模网页抓取 (Common Crawl)，数据量大但质量参差不齐。2023-2026 年间，业界逐渐形成共识：数

Adapter Tuning（适配器微调）

一句话理解 Adapter Tuning 在 Transformer 的每一层之间插入小型神经网络模块（Adapter），微调时只训练这些模块，原始模型参数完全冻结。它是 PEFT 概念的开创

DoRA（Weight-Decomposed Low-Rank Adaptation）

一句话理解 DoRA 是 LoRA 的改进版，核心创新是将预训练权重分解为幅度（Magnitude）和方向（Direction）两部分，然后对方向部分应用 LoRA，对幅度部分单独调整，使微调

LoRA（Low-Rank Adaptation）

一句话理解 LoRA 在预训练权重矩阵旁边插入低秩分解矩阵（A × B），微调时只训练这两个小矩阵，原始权重完全冻结。训练完成后，小矩阵可以合并回原权重，推理时零额外开销。 零基础理解 原始模

参数高效微调（PEFT）

一句话理解 PEFT（Parameter-Efficient Fine-Tuning）是一类技术的统称，其核心思想是：只训练模型中极少量的参数（通常 0.1% 5%），冻结大部分参数，使微调效

Prefix Tuning（前缀微调）

一句话理解 Prefix Tuning 在 Transformer 的每一层前面拼接可学习的"前缀向量"（Prefix），这些向量参与该层的 Key-Value 注意力计算，从而影响整个生成过

Prompt Tuning（软提示微调）

一句话理解 Prompt Tuning 在输入 Embedding 层前面拼接一组可训练的虚拟 Token 向量（软提示，Soft Prompt），模型本身的参数完全冻结。通过优化这些虚拟 T

QLoRA（Quantized LoRA）

一句话理解 QLoRA = 4-bit 量化的基座模型 + LoRA 适配器。通过将预训练模型权重量化到 4-bit（NF4 格式），让原本需要 48GB 显存的 7B 模型微调，可以在单张

RAFT（深挖）

RAFT（Retrieval Augmented Fine-Tuning，检索增强微调）是 2024 年提出的微调策略：在微调阶段就把检索文档混入训练数据，让模型学会"查阅资料再回答"，而不是像传统 RAG 那样只在推理时做检索。RAFT 训练出的模型在推理时配合检索，效果优于纯

全量微调（Full Fine-Tuning）

一句话理解 在预训练模型（Pre-trained Model）的基础上，用特定任务的数据集，更新模型的所有参数（全部权重），使模型从"通用能力"转向"特定领域能力"。这是最传统、最彻底的微调方

深挖-模型合并 (Model Merging)

一句话理解 模型合并 (Model Merging) 是将多个针对不同任务微调的模型（或 LoRA 适配器）的权重参数进行数学组合，生成一个同时具备多种能力的单一模型，整个过程无需任何额外训练

项目四：用 LoRA 微调一个模型

用 Unsloth（一个 2-5 倍加速的微调工具）在你的数据上微调一个模型。让它学会用古文风格回答问题。

AI 工程范式演化

一句话理解 AI 工程经历了四次范式跃迁：Prompt 范式（怎么问）→ Context 范式（让模型看见什么）→ Harness 范式（把模型放在什么环境里）→ Loop 范式（让系统自己转

Context 工程

一句话理解 Context 工程的核心是"让模型看见什么"——不是改模型，而是管理模型的输入。在模型能力固定的前提下，Context 工程决定了模型能获取多少有效信息，从而直接影响输出质量。2

概念-Jailbreaking

Jailbreaking（越狱）是指通过精心设计的输入（prompt），绕过LLM（Large Language Model）的安全对齐机制，使其产生违反使用政策的输出。与提示词注入（Prompt Injection）不同，Jailbreaking不依赖注入外部数据，而是通过语义

四次范式跃迁

概述 AI 工程经历了四次范式跃迁：Prompt → Context → Harness → Loop。这四次跃迁标志着 AI 工程从"如何向模型提问"的手工艺，走向"如何构建自主 Agent

概念-提示词注入

一句话理解 提示词注入（Prompt Injection as a Technique）是一种上下文管理技术，核心做法是把工具描述、可用数据、外部信息直接塞进 Prompt，让模型"看到"外部

提示词纪律

一句话理解 提示词纪律 (Prompt Discipline) 是提示词编写的规则和约束体系，确保 AI 可预测、一致地输出。它不是"怎么写好 Prompt"的技巧，而是"怎么约束 Promp

漏斗架构

一句话理解 漏斗架构是"摘要 → 全文"的两层信息加载策略：先读摘要（200-500 tokens）决定是否需要全文，再按需加载完整内容。这个架构是 Context 工程和 Loop 工程的交

对比-AgenticRAGvsGraphRAG

Agentic RAG 和 Graph RAG 是 RAG 进化树上的两个高级分支。Agentic RAG 让模型动态决定检索策略，Graph RAG 利用知识图谱的结构化推理能力增强检索。

对比-RAGvs微调

概述 RAG（Retrieval-Augmented Generation）和 Fine-tuning 是让 LLM 掌握特定领域知识的两种正交手段。RAG 给模型"查资料"，微调是"改模型参

对比-稠密检索vs稀疏检索

稠密检索（Dense Retrieval）和稀疏检索（Sparse Retrieval）是信息检索的两大范式。稠密检索基于语义向量相似度，稀疏检索基于关键词匹配，2026 年的标配是两者混合。

Bi-Encoder (双塔模型/双编码器)

概述 Bi-Encoder (双编码器) 是一种双塔架构的神经网络模型，核心思想是将两个输入 (如 Query 和 Document、User 和 Item) 分别通过独立的编码器编码为向量表

BM25 (Best Match 25)

一句话理解 信息检索的经典算法,TF-IDF的升级版,2026年仍是混合检索(RAG)的关键组件——用概率模型评估文档与查询的相关性,引入词频饱和和文档长度归一化。 核心公式与直觉 BM25公

概念-ColBERT

一句话理解 ColBERT（Contextualized Late Interaction over BERT）是一种延迟交互检索模型，它的核心思想是：不对 query 和 document

Cross-Encoder (交叉编码器)

概述 Cross-Encoder（交叉编码器）是一种将查询（Query）和文档（Document）同时输入同一个编码器进行联合编码的架构。与 Bi-Encoder 不同，Cross-Encod

概念-CrossEncoder

一句话理解 Cross-Encoder（交叉编码器）是同时输入 query 和 document、通过 Transformer 的全注意力机制进行深度交互、输出一个相关性分数的模型。它是检索系

概念-Embedding模型

一句话理解 将文本、图像、音频等非结构化数据映射为稠密向量（Dense Vector）的模型。语义相近的输入在向量空间中距离近，语义不相关的输入距离远。 零基础理解 给每个词、每句话分配一个"

HyDE (Hypothetical Document Embeddings)

概述 HyDE (Hypothetical Document Embeddings) 是 2022 年由 Gao 等人提出的一种检索增强生成 (RAG) 技术，被认为是 RAG 领域最具影响力

概念-Neo4j

一句话理解 Neo4j 是最流行的图数据库，使用 Cypher 查询语言，是 Graph RAG 的常见基础设施。自 2007 年首次发布以来，Neo4j 已经从一个学术项目发展为全球装机量最

RAG (Retrieval-Augmented Generation)

概述 RAG（Retrieval-Augmented Generation，检索增强生成）是一种将信息检索与文本生成相结合的 AI 技术架构。在 RAG 中，LLM 在生成回答之前，先从外部知

Self-RAG 与 Corrective RAG

概述 Self-RAG 和 Corrective RAG (CRAG) 代表了 RAG 范式从"被动检索"到"主动反思"的进化。传统的 RAG 系统无条件地对每个查询执行检索，而 Self-R

上下文压缩 (Context Compression)

概述 上下文压缩（Context Compression）是解决 LLM 上下文窗口限制和推理成本问题的关键技术。当需要处理大量文档、长对话历史或长代码文件时，直接输入全部内容可能超出模型的上

概念-上下文管理技术

一句话理解 上下文管理技术（Context Management Techniques）指的是在没有 Function Calling 的年代，如何让模型使用外部工具——把工具塞进上下文。这些

概念-图数据库与知识图谱

一句话理解 图数据库（Graph Database）和知识图谱（Knowledge Graph）是两种紧密相关但不同的概念：图数据库存储实体-关系-实体的三元组，是一种数据存储技术；知识图谱是

相似度计算 (Similarity Metrics)

相似度计算（Similarity Metrics）是机器学习和信息检索中的基础工具，用于量化两个向量、集合或分布之间的相似程度或距离。在向量检索、聚类、推荐系统和 RAG 等应用中，相似度度量的选择直接影响结果质量。不同的度量方法基于不同的数学假设，适用于不同的数据分布和应用场景

深挖-Elasticsearch

一句话理解 Elasticsearch 是一个分布式全文检索引擎，底层基于 Apache Lucene，2010 年由 Shay Banon 发布。它把 Lucene 复杂的 Java API

深挖-FAISS

一句话理解 FAISS 是 Meta 于 2017 年开源的向量相似度搜索库，用 C++ 编写并提供 Python 接口。它不是数据库，不管理存储、不处理事务、不做持久化——它是一个纯粹的向量

深挖-pgvector

一句话理解 pgvector 是 PostgreSQL 的开源扩展，由 Supabase 主导维护，让传统关系型数据库原生支持向量存储和 ANN 搜索。它把向量变成了 PostgreSQL 的

深挖-向量数据库

一句话理解 专门存储和检索高维向量的数据库系统，是 RAG（检索增强生成）的核心基础设施，支撑语义搜索、推荐系统、相似度去重等场景。 零基础理解 传统数据库存的是数字和文本，查询时做精确匹配；

深挖-向量数据库选型

一句话理解 根据数据量级、运维能力、预算、功能需求（混合检索、GPU 加速、过滤能力）综合评估，选择最适合当前场景的向量数据库——没有"最好"的数据库，只有最匹配的。 选型决策树 按优先级依次

深挖-重排序

一句话理解 对初检阶段召回的候选结果进行二次排序，将最相关的文档排到最前面，显著提升 RAG 系统的精度和答案质量。 零基础理解 想象你在图书馆查询"人工智能的历史"： - 初检（Retrie

项目三：搭一个能查资料的 AI

30 分钟。需要一点点 Python（复制粘贴即可）。做一个能回答"关于你的文档"问题的 AI。 你要做什么 用 Python 搭一个最小的 RAG 系统。给它几篇文档，它能基于文档内容回答问

对比-StaticvsDynamicvsAgenticWorkflow

概述 Static、Dynamic 和 Agentic Workflow 是 LLM 应用编排的三种模式，代表了从"完全确定性"到"完全自主"的连续谱。 核心对比 | 维度 | Static

概念-AgenticWorkflow

一句话理解 Agentic Workflow（智能体工作流）是一种模型自主决定路径，不是预定义规则而是 LLM 做决策的工作流模式。这是三种工作流模式中最灵活、最强大、也最难控制的一种。在 A

Agent 原理与 ReAct

Agent = 感知 (Perceive) + 思考 (Think) + 行动 (Act) + 观察 (Observe) 的自主循环系统。Agent 不是"被程序控制的工具"，而是"能自主决策和执行的数字实体"——它感知环境、推理下一步、执行动作、观察结果，然后根据观察调整策略，

AI 安全生态：谁在评估 AI 的安全

AI 安全不只是技术问题，也是一个生态系统问题。METR、Apollo Research、UK AISI、US AISI、Lakera、Giskard 等组织构成了 AI 安全评估的生态系统——它们分别从能力评估、安全评估、红队测试、工具平台等角度，试图回答"AI 到底安不安全"

概念-DynamicWorkflow

一句话理解 Dynamic Workflow（动态工作流）是一种条件分支、路径根据输入变化，但分支逻辑是预定义的工作流模式。与 Static Workflow 的"一条路走到黑"不同，Dyna

概念-FunctionCalling

一句话理解 Function Calling让模型不直接回答，而是输出结构化的函数调用请求——"我要调用这个工具，参数是这些"。模型不再编造答案，而是精确表达它需要什么外部信息来完成任务。 零

Function Calling 演化

一句话理解 从无 Function Calling 时代的提示词注入 Hack，到 2026 年 MCP (Model Context Protocol) 标准化——Function Call

概念-Hook机制

一句话理解 Hook 机制（Hook Mechanism）是一种早期的"伪 Function Calling"实现：模型输出特定标记时触发外部函数，如 SEARCH:xxx → 执行搜索 →

概念-ReActAgent

一句话理解 ReAct Agent是Reasoning + Acting交替循环的Agent范式：Think(思考) → Act(行动) → Observe(观察) → Think(再思考).

概念-StaticWorkflow

一句话理解 Static Workflow（静态工作流）是一种固定步骤、无分支、每次执行完全相同的流程。在 AI 应用开发中，它是最简单、最可控的工作流模式：每一步做什么、顺序如何、输入输出是

概念-ToolUse

一句话理解 Tool Use是Anthropic对Function Calling的叫法——模型选择并调用外部工具以获取实时信息或执行操作。两者本质相同（JSON Schema + 结构化调用

对话到 Agent 演化

一句话理解 从一问一答的纯对话，到自主多步执行的 Agent——AI 交互模式经历了六个阶段的演化：纯对话 → ReAct → Function Calling/Tool Use → Mult

概念-纯对话

一句话理解 纯对话(Pure Chat)是AI最早的交互形态：用户问，模型答，一问一答，无外部能力，无记忆。每一次对话都是独立的、无状态的文本交换。 零基础理解 就像和一个失忆的人聊天——每次

深挖 CrewAI

一句话理解 CrewAI 是一个角色扮演式多 Agent 框架。它的核心思路是：定义 Agent 角色 -- 分配 Task（任务）-- Agent 组成 Crew（团队）协作完成。每个 Ag

深挖 LangChain

一句话理解 LangChain 是 LLM 应用开发框架，把 Prompt + LLM + Tool 串成 Chain（链），适合构建线性流程的 LLM 应用。它曾是 AI Agent 开发的

项目六：搭一个能用工具的 Agent

30 分钟。需要 Python 基础 + Ollama。你会搭一个能自己查天气、算数学的 AI。 你要做什么 用 LangChain 搭一个 Agent，给它两个工具：一个模拟的"天气查询"，

LangChain: 链式思维

概述 LangChain 和 LangGraph 是 Lang 生态中两个核心框架。LangChain 面向链式编排，LangGraph 面向有状态图编排，两者定位互补。 核心对比 | 维度

对比-MCPvsA2A

概述 MCP（Model Context Protocol）和 A2A（Agent-to-Agent Protocol）是 2025-2026 年涌现的两个关键协议，分别解决 Agent 生态

对比-ToolUsevsFunctionCalling

概述 Tool Use（Anthropic）和 Function Calling（OpenAI）是让 LLM 调用外部工具/API 的机制。两者在技术本质上高度相似，但命名和部分细节存在差异。

概念-A2A

一句话理解 A2A (Agent-to-Agent) 是Google于2025年4月提出的Agent间通信标准协议，让不同框架、不同厂商的Agent能够互相发现、通信和协作。如果说MCP是Ag

概念-MCP

一句话理解 MCP (Model Context Protocol) 是Anthropic于2024年11月提出的Agent-工具连接标准协议，让任何Agent用任何工具——就像USB协议让任

MCP+A2A 双协议生态

一句话理解 MCP (Model Context Protocol) 管 Agent 连工具，A2A (Agent-to-Agent) 管 Agent 间通信。2026年这两个协议互补协作，形

深挖 LangGraph

一句话理解 LangGraph 是 LangChain 生态的图编排引擎，用有向图（Directed Graph）定义 Agent 工作流。节点（Node）是操作（LLM 调用、工具调用、决策

概念-MultiAgent

一句话理解 Multi-Agent系统是多个Agent角色分工协作，每个Agent专注一件事，通过通信协调完成复杂任务的架构模式。就像软件开发团队中的产品经理、架构师、前端工程师、后端工程师、

深挖 AutoGen

一句话理解 AutoGen 是微软开源的对话式多 Agent 框架。它的核心设计是：Agent 之间通过对话（Conversation）来协作完成任务。每个 Agent 可以发送和接收消息，通

AI 3D 生成：从文字到三维世界

AI 3D 生成是 AI 内容生成的前沿领域——从文字描述或图片直接生成三维模型。2026 年，3D 生成技术已经从实验室走向生产：游戏开发、影视制作、电商展示、AR/VR 等场景开始实际使用 AI 生成的 3D 资产。

AI 视频生成：2026 年主流化

2024 年 2 月 OpenAI 发布 Sora，AI 视频生成一夜之间从实验室走向公众视野。到 2026 年，AI 视频生成已经进入主流——Sora 2、Runway Gen-4、Kling 2、Pika 2.0 等产品可以实现分钟级的高质量视频生成，视频生成正在成为 AI

CLIP (Contrastive Language-Image Pre-training)

一句话理解 OpenAI的图文对齐模型,用对比学习让文本和图像映射到同一个向量空间——"猫的照片"和文字"猫"在这个空间里距离很近,而"猫的照片"和文字"汽车"距离很远。 核心创新: 不是分类

CogVLM 与中文视觉语言模型生态

CogVLM 是智谱 AI 提出的视觉语言模型，其核心创新是"深度视觉语言融合"——不是简单地把图像编码器挂到 LLM 上，而是在 LLM 的每一层都加入视觉专家模块，让视觉和语言信息在深层交叉融合。CogVLM 与 InternVL、MiniCPM-V、Qwen-VL 等一起构

AI 硬件：GPU 不是唯一的选择

2026 年，AI 硬件市场正在经历从 NVIDIA 一家独大到多元竞争的转变。AMD MI300X、AWS Trainium、Intel Gaudi、Cerebras、Groq LPU 等替代方案正在各自的场景中证明自己的价值。选择什么硬件，取决于你的工作负载是训练还是推理、是

KV Cache (Key-Value 缓存)

KV Cache（Key-Value 缓存）是 Transformer 自回归解码（Autoregressive Decoding）中的一项核心推理优化技术。在生成文本时，模型每生成一个 token 都需要计算所有历史 token 的注意力。如果不做缓存，每个新 token 都要

概念-llama.cpp

llama.cpp 是纯 C/C++ 实现的 LLM 推理框架，专为消费级硬件（CPU/集成显卡）优化，GGUF 量化格式让大模型在普通电脑上也能运行。它是 Ollama、LM Studio 等工具的底层引擎，也是整个本地 AI 推理生态的基石。

概念-Medusa

Medusa 是一种高效的推测解码（Speculative Decoding）替代方案，旨在加速大语言模型（LLM）的自回归推理。与传统的推测解码需要一个小型草稿模型（Draft Model）不同，Medusa 通过在原始模型上添加多个"Medusa 头"（Medusa Head

概念-Ollama

Ollama 是本地运行大模型的最简单工具。一条命令 ollama run llama4.1 就能下载模型、启动推理服务、进入交互式对话。它把模型权重管理、量化、推理、API 服务全部封装好，用户不需要关心 GGUF 格式、CUDA 配置、tokenizer 等底层细节。

语义缓存 (Semantic Cache)

概述 语义缓存 (Semantic Cache) 是 LLM 应用中最简单、投资回报率最高的成本优化技术之一。它的核心思想是：将 LLM 的响应缓存在向量数据库中，当新查询与缓存中的查询语义相

概念-vLLM

vLLM 是高吞吐量的开源 LLM 推理引擎，通过 PagedAttention 技术管理 KV 缓存，实现生产环境下的极致推理性能。如果说 Ollama 是个人跑模型的"一键工具"，vLLM 就是企业部署模型的"涡轮引擎"。

概念-模型服务

模型服务（Model Serving）是将训练好的机器学习模型部署到生产环境，使其能够接收请求并返回推理结果的基础设施。模型服务框架负责管理模型生命周期、请求路由、自动扩缩容、批处理、版本管理、A/B 测试等生产级功能。2026 年，大语言模型（LLM）的爆发式增长推动模型服务架

概念-渐进式加载

一句话理解 渐进式加载（Progressive Loading）是一种上下文管理策略，核心思想是分步注入上下文：先给模型摘要或索引，当模型需要更多细节时，再加载完整内容。它的设计动机很简单——

深挖-量化

一句话理解 模型量化（Quantization）是将神经网络中原本用 32-bit 浮点数（FP32）表示的权重和激活值，转换为更低精度（如 FP16、INT8、INT4）的数值表示，从而大幅

项目二：在自己的电脑上跑一个 AI

安装 Ollama，下载一个 AI 模型，在命令行里跟它对话。全程不需要编程。

21.1 模型怎么变成服务

训练完的模型是一个文件（几十 MB 到几十 GB）。用户不能直接"打开文件"使用——需要把它变成一个 API 服务（API 即应用程序接口，让其他程序可以通过网络发送请求、获取结果——就像餐厅的菜单：你按格式点菜，厨房按格式出菜）。

21.2 MLOps成熟度模型

Google在2020年提出了MLOps成熟度模型，2026年仍然适用。理解你在哪个级别，能帮你决定下一步该做什么： Level 0：手动流程 - 特征：训练脚本是手写的，参数是手动调的，部署是手动复制文件的。没有版本管理，没有实验记录，没有人能复现三个月前的模型效果。 - 典型

21.3 实验管理

训练一个机器学习模型不是"写一段代码，跑一次就完事"。你通常会尝试几十甚至上百组不同的配置：学习率从 0.0001 试到 0.1，batch size 从 8 试到 128，LoRA 的 r 值从 4 试到 64。每组配置跑一次训练，产生一个"实验"。

21.4 小型团队MLOps最低可行方案

如果你是一个3-5人的小团队，不需要Kubernetes集群、不需要CI/CD流水线、不需要AutoML。以下是最小可行工具集，按优先级排列： 第一优先：实验跟踪——MLflow（本地部署） 为什么：你调了10组参数，一周后完全记不住哪组最好。MLflow只需要3行代码就能记录实

21.6 生产监控

模型上线之后，很多人以为"完事了"——模型在跑，API 在响应，监控面板一片绿。但实际上，模型在生产环境中是一个持续衰减的资产。不像传统的软件代码——只要不修改，同样的输入永远产生同样的输出。ML 模型面对的是一个不断变化的世界：用户的行为在变、语言的用法在变、新的概念和产品不断

21.7 CI/CD

CI/CD 是 Continuous Integration / Continuous Deployment（持续集成 / 持续部署）的缩写。在传统软件开发中，CI/CD 意味着"代码提交 → 自动跑测试 → 自动打包 → 自动部署到服务器"。在 MLOps 中，CI/CD 的含

21.9 2026年MLOps趋势

2026年，MLOps正在分化为三个新方向： LLMOps（大模型运维）：传统MLOps管的是"训练自己的模型"，LLMOps管的是"使用别人的大模型"。核心挑战不同： - 提示词管理：不是管理模型版本，而是管理提示词版本。一个提示词的微小改动（"你是专家" vs "你是世界级专

第21章 . MLOps 基础

你训练好了一个模型（Ch11 模型微调），怎么让它上线给别人用？怎么知道它在生产环境跑得好不好？怎么把模型更新从"手动折腾半天"变成"代码推送自动完成"？MLOps（机器学习运维）就是管这些事的。 MLOps 本质上是一套从实验到生产的工程化方法。它解决的核心问题是：数据科学家在

概念-Guardrails

Guardrails（安全护栏）是部署在AI系统周围的安全防护层，用于检测、过滤和阻止有害输入和输出。与模型内部的训练对齐不同，Guardrails是外部可配置的防护机制，可以在不修改模型的情况下实现安全策略。

LLM 可观测性 (LLM Observability)

概述 LLM 可观测性 (LLM Observability) 是指在生产环境中对 LLM 应用进行全面监控、追踪和分析的能力。不同于传统的软件可观测性（主要关注延迟、错误率、吞吐量），LLM

概念-RedTeaming

Red Teaming（红队测试）是一种系统性的对抗性测试方法，通过模拟攻击者行为来评估AI系统的安全性和鲁棒性。在AI语境中，红队测试旨在发现模型可能产生有害输出、泄露敏感信息或被恶意利用的场景，从而在模型部署前识别和修复漏洞。

深挖 LangSmith

一句话理解 LangSmith 是 LangChain 生态的调试、评估、监控平台，相当于 Agent 的可观测层（Observability Layer）。它追踪每一次 LLM 调用、记录每

概念-AI编程工具

AI 编程工具（AI Coding Tools）在 2024-2026 年间经历了爆发式增长，从简单的代码补全演变为完整的 AI 编程助手和自主编程 Agent。2026 年的 AI 编程工具生态已形成明确的分层：开源编程助手、AI-native IDE、自主编程 Agent 和

概念-ObsidianGraphView

一句话理解 Obsidian Graph View（Obsidian 图谱视图）是Obsidian 内置的知识图谱可视化工具，wikilink 天然形成知识网络。每当你用 概念-WikiLin

出处

- Ch12 Prompt 工程：ACM 2024, Packt, Boris Cherny 2026, Addy Osmani 2026 - 概念-系统提示词：PromptLayer, CSDN, Regie.ai, TokenCalculator, 优设网 - 概念-三种问法

写作规范

写 - 2 agent 并行审（小白 + 事实）- 打分 - 修 or 过。人不管。

写作错误日志

每次审查发现新类型错误，记录在此。写新内容前搜索此文件，检查是否可能重复犯。 2026-06-30 E1：照抄用户原话不提炼 - 场景：用户用"像 Claude Code 读代码仓库"打比方解

前言

第一次来？阅读指南，按你的情况选学习路径。

角色卡

- 身份：零基础中文初学者 - 背景：没写过代码，可能没用过电脑（只用手机），不懂英文，不知道 API / JSON / 编译器是什么 - 任务：读一篇笔记，打分 1-10。每个看不懂的词扣分。=8 合格 - 输出：分数 + 具体问题列表

1.1 第一次浪潮：符号主义的兴起与寒冬（1956--1980）

符号主义（Symbolism）是人工智能历史上第一个主流范式。它的核心假设可以用一句话概括：智能就是对符号的操作。

1.2 第二次浪潮：连接主义的兴起与寒冬（1986--2012）

连接主义（Connectionism）的关键词不是「规则」，而是「学习」。它的核心思想是：不告诉机器怎么做，而是给机器看大量例子，让它自己找出规律。

1.3 第三次浪潮：深度学习（2012--至今）

2012 年，AlexNet 在 ImageNet 图像识别比赛中碾压所有传统方法，错误率从前一年的 26% 降到 16%。不是算法新（卷积神经网络 1998 年就有了），而是三条曲线交汇了：大数据（ImageNet 有 120 万张标注图片）+ 大算力（GPU 开始普及）+ 老

1.4 关键人物

AI的发展不是抽象的技术演进，而是一群具体的人推动的。以下是塑造了AI历史的关键人物：

1.5 2026 年 AI 格局

基础模型层（Foundation Model Layer） - OpenAI：GPT-5.5系列，从GPT-3.5（2022）到GPT-4（2023）到GPT-5（2025）到GPT-5.5（2026），保持闭源最强地位。o系列推理模型（o1、o3、o5）在数学和编程上拉开差距。

第1章 · AI简史与必知过时技术

AI 不是一夜之间出现的。从 1956 年到今天，经历了三次浪潮、两次寒冬。这一章不讲算法细节，讲历史脉络——每个时代的核心思想是什么、为什么兴起、为什么倒下，以及哪些已经过时的技术你不需要学，但需要知道它们存在过。

2.1 pip 与 conda：包管理工具对比

在开始写 Python 代码之前，你必然会遇到一个问题：怎么安装那些别人写好的库？

2.2 Python环境管理：venv vs conda vs poetry vs uv

当你开始做多个项目时，不同项目可能需要不同版本的 Python 和库。比如项目 A 用 Python 3.11 + NumPy 1.x，项目 B 用 Python 3.12 + NumPy 2.x。如果全装在全局环境里，版本冲突会让你痛不欲生。解决方案是虚拟环境——每个项目拥有独

2.3 Jupyter Notebook实战：AI开发的交互式工作台

Jupyter Notebook 是一个在浏览器里运行的交互式编程环境。它和普通 .py 文件最大的区别是：代码分"单元格"（cell）运行，中间结果自动保留在内存里。

2.5 零基础最需要的 5 个 Python 库

处理数字数组，比 Python 原生列表快 10-50 倍。AI 中用来存储 Embedding 向量、做矩阵运算。

2.6 你不需要成为程序员

这是本文最重要的信息：你不需要成为程序员。

2.7 2026 年推荐学习路径：不要从头学 Python，按需学

传统 Python 学习路径（不要这么做）： 1. 花 3 个月学 Python 基础语法 2. 花 2 个月学面向对象编程 3. 花 1 个月学 Web 框架 4. 然后才开始学 AI

2.8 2026年AI开发必备工具链

AI 开发不是只有 Python。以下四个工具构成了 2026 年 AI 应用开发者的基础工具链，每个工具的定位一句话说清：

2.9 从零到第一个AI程序：5步跑通你的第一个 AI 调用

目标：即使你从来没写过 Python，跟着这 5 步走，你也能在 15 分钟内跑通第一个 AI 程序。

第2章 · Python 与数据科学生态

AI 从业者不需要精通 Python，但需要会用三个工具处理数据：NumPy（数组计算）、Pandas（表格处理）、Matplotlib（画图）。这篇覆盖最常用的 20%。

3.1 线性代数：向量和矩阵

向量：一串数字。0.2, 0.8, -0.3。你已经在 深挖-稠密检索 里见过——Embedding 就是向量。向量的长度（模）代表"信号的强度"，两个向量的夹角（余弦距离）代表"含义的相似度"。

3.2 概率统计：理解不确定性

概率分布：AI 不是输出一个确定答案，而是输出一个概率分布——每个可能的下一个 token 的概率。"今天天气真"之后，下一个 token 是"好"的概率 0.7，"不"的概率 0.2，"是"的概率 0.05...

3.3 微积分：理解优化

梯度：函数在某点的"最陡上升方向"。AI 训练的目标是让损失函数（衡量模型多差）尽可能小。怎么找到最小的点？每一步沿着梯度的反方向走——这就是"梯度下降"。 你不需要手算梯度——PyTorch 的 autograd（自动求导引擎，它像账本一样默默记录你做的每一个运算，需要梯度时自

3.4 优化理论 — 让 AI 找到最优解

前面讲的梯度下降是优化理论的基础。这一节深入展开：AI 训练的优化不只是"往梯度反方向走"那么简单，它涉及一整套理论和工程技巧。 3.4.1 凸优化 vs 非凸优化：为什么深度学习的优化这么难 凸函数（Convex Function）：函数图像像一个碗。任意两点连线都在函数图像之

3.5 信息论基础

信息论是 AI 的另一个数学基石。它回答"信息是什么"、"不确定性怎么量化"等基础问题。交叉熵、KL 散度等概念都来自信息论。 3.5.1 信息熵（Entropy）：衡量不确定性的标尺 信息熵回答一个问题："这个随机事件有多不确定？" 数学定义：H(X) = -Σ p(x) ×

3.6 数学在 AI 各领域的应用地图

不同的 AI 领域对数学的需求不同。这张地图帮你了解"学什么方向需要用哪些数学"。 3.6.1 计算机视觉（CV）需要的数学 | 数学领域 | 具体应用 | 重要程度 | |---------|---------|---------| | 线性代数 | 卷积操作本质是矩阵乘法；图

3.7 零基础数学学习路径

如果你从零开始学 AI 数学，这份分阶段的学习路径会帮你高效地建立数学直觉。每个阶段都明确了目标、学习内容和 AI 应用场景。

3.8 2026年：你需要多少数学

前面几节铺开了 AI 涉及的数学领域。但不同角色的"够用线"完全不同。这一节用一张表对齐你的目标和所需数学深度，帮你避免"学太多"或"学太少"。

第3章 · AI 需要的数学

你不需要成为数学家。做 AI 应用层工作，三个数学领域各需要懂一点：线性代数（理解矩阵运算）、概率统计（理解数据）、微积分（理解优化）。每个领域只讲用得上的部分。 学习哲学：直觉比推导更重要 这是 AI 应用层最重要的区分：你不需要会推导，但需要会理解。 数学推导：从公式出发，一

4.1 三大类学习

机器学习的所有算法，按照"有没有标准答案"和"怎么给反馈"，可以分成三大类：监督学习、无监督学习、强化学习。这三类的区别，决定了你需要什么样的数据、能解决什么样的问题、以及怎么评估好坏。

4.3 五个必知算法

最简单的模型：画一条直线穿过数据点。y = wx + b。w 是斜率，b 是截距。

4.5 过拟合和欠拟合

你花了三天三夜背了 100 道课后习题的全部答案。考试时，试卷原封不动地出了这 100 道题——你得满分。但下一次考试换了一套新题，你一道都不会。过拟合（Overfitting）就是这个意思：模型把训练数据的细节和噪声都记下来了，但并没有学到真正通用的规律 ^Goodfellow

4.6 2026年：经典ML vs 深度学习的选型

2026年，选传统ML还是深度学习，取决于四个维度：

4.7 机器学习项目实战流程

一个真实的机器学习项目，写代码训练模型只是其中一小步。CRISP-DM（Cross-Industry Standard Process for Data Mining，跨行业数据挖掘标准流程）是业界最广泛采用的 ML 项目框架，诞生于 1999 年，至今（2026 年）仍然是所有

第4章 · 机器学习核心算法

深度学习统治了今天的 AI，但机器学习是地基。本章从基础范式出发，覆盖核心算法、关键概念和实战流程。 生活比喻：机器学习算法像不同类型的厨师——线性回归是拿尺子量着菜谱做的严谨派，决策树是"如果食材发黏就扔掉，如果颜色正常就下锅"一步步判断的经验派，XGBoost 是让多位厨师依

6.1 感知机：神经网络的原子

一个感知机（Perceptron）就是"加权求和 + 激活"。在老教材里，这整个体系叫 ANN（人工神经网络），但现在大家直接叫"神经网络"或"深度学习"。本文用"神经网络"。

6.10 反向传播：怎么让模型变好

前向传播算出预测，损失函数给出分数——接下来，怎么让分数变小？答案就是反向传播（Backpropagation），它是让神经网络"学会"的核心算法。

6.11 学习率调度的艺术

学习率（Learning Rate, LR）是训练神经网络最重要的超参数之一。它决定了每一步参数更新的幅度：太大，跳过最优点甚至发散；太小，训练慢得像蜗牛。学习率调度（LR Schedule）就是让学习率在训练过程中动态变化，在不同阶段使用不同的步长。 6.11.1 从常数到余弦

6.12 2026年：从零手写神经网络还有意义吗

今天的AI生态和2015年已经完全不同。一个现实的问题摆在每个学习者面前：该投入多少精力学"从零搭建神经网络"？ 6.12.1 三种需求层次 层级一：调用API 你只需要知道怎么发HTTP请求，把prompt送进去，把结果拿回来。不需要理解模型内部结构。适合做产品开发、业务集成的

6.2 层：感知机的堆叠

神经网络是分层的。每一层有很多个神经元（感知机），前一层的输出是后一层的输入。 输入层（接收数据）- 隐藏层（做计算）- 输出层（给结果）。 一个词向量（768 个数字）进入 Transformer（一种用自注意力取代逐字阅读的神经网络架构——它让每个词同时看到句子里所有其他词，

6.3 神经网络为什么有效

神经网络的核心能力来自两个机制：表示学习和层级抽象。 6.3.1 表示学习：让机器自己找特征 传统机器学习需要人工设计特征——比如识别猫，你得手工定义"耳朵是三角形的、眼睛位置、毛色分布"。一个特征工程可能要花几个月，换个任务（从猫换成狗）又得重新设计。 神经网络的做法完全不同：

6.4 激活函数：为什么不能全用线性

如果不用激活函数，不管堆多少层，整个网络还是线性的——只能画直线。真实世界不是直线。 ReLU（Rectified Linear Unit）：f(x) = max(0, x)——正数就原样输出，负数就输出 0。简单到不像话，但效果极好。2012 年 AlexNet 第一个大规模使

6.5 常见激活函数深入

前面介绍了四种激活函数的基本形态，这里深入讲几个关键细节。 6.5.1 ReLU的死亡神经元问题 ReLU的公式 f(x) = max(0, x) 有一个致命缺陷：一旦某个神经元的所有输入都让它输出0（即加权和+bias为负），该神经元的梯度就永远是0——梯度为0意味着参数不再更

6.6 归一化层：BatchNorm 与 LayerNorm

神经网络训练中，每一层的输出分布会随着参数更新不断变化——深层网络里，前面层参数的微小变化会被后面层放大，导致训练不稳定。这个现象叫"内部协变量偏移"（Internal Covariate Shift）。归一化层的核心思想很简单：把每一层的输出重新拉回均值为0、方差为1的标准分布

6.7 权重初始化

6.7.1 为什么初始化这么重要 训练神经网络的本质是用梯度下降在参数空间中寻找最优点。初始参数的位置决定了： - 收敛速度：初始点离最优点近，几步就到了；离得远，可能要跑几万步 - 能否收敛

6.8 前向传播：从输入到输出

前向传播（Forward Propagation）是神经网络"用"的过程——输入数据一层层往前走，每层做矩阵乘法加激活函数，最终输出一个结果。你每次用 ChatGPT 回答问题，它内部做的就是这件事。

6.9 损失函数：衡量模型多差

前向传播给出了预测，但这个预测和标准答案有多大的差距？损失函数（Loss Function）就是量化这个差距的"打分员"。训练神经网络，本质上就是在不断地让这个分数变小。

第6章 · 神经网络基础

你已经用了很多 AI，但还不知道它"长什么样"。神经网络就是 AI 的物理形态——一堆数字经过一层层变换，从输入走到输出。这篇用最简单的语言解释这个过程。 生活比喻：神经网络像一条流水线——原材料（输入数据）经过一道道工序（层），每道工序做一点加工（加权求和），质检员（激活函数）

9.1 为什么需要 Transformer — RNN 的困境

9.1.0 生活比喻：流水线工人 vs 全体同时阅读 想象一个翻译团队处理一篇 100 页的文件。RNN 模式：只有一个人工作，他从第 1 页逐页读到第 100 页。读到第 50 页时，他对第

9.10 动手实现 Self-Attention

9.10.1 PyTorch 实现：缩放点积注意力 9.10.2 从头实现 Mini-Transformer 的步骤 完整的 Transformer 解码器块的实现： 9.10.3 关键调试技

9.2 自注意力机制 — 深度拆解

公式可跳过：下面出现的数学公式可以直接跳过，看后面的文字解释也能理解自注意力的核心思想。 核心公式： 9.2.1 Query/Key/Value 的直觉：图书馆检索 理解 Q/K/V 最好的比

9.3 多头注意力 -- 为什么需要多个头

想象一个刑事调查团队在分析同一句证词："张三把包裹给了李四，因为他说里面有重要的文件。"

9.4 位置编码 — Transformer 的"序列感知"

9.4.1 为什么需要位置编码 自注意力机制有一个根本性的"盲区"：它是置换不变的（permutation invariant）。如果你把输入序列中的词任意打乱，自注意力的输出（在置换意义下）

9.5 前馈网络（FFN）— Transformer 的"知识存储"

9.5.1 FFN 的双重身份 每个 Transformer 层的 FFN 形式为： 其中 W1 ∈ R^dmodel × dff，W2 ∈ R^dff × dmodel，通常 dff = 4

9.6 残差连接与层归一化

想象你在修改一份合同。每次修改时，你拿到上一轮的版本（输入 x），在上面用红笔批注修改（SubLayer(x)），然后把原件和批注版本并排存档。下一轮修改时，审阅的人可以同时看到原件和最新批注——原件是一条"直达通道"，不管中间加了多复杂的批注，原始信息始终可追溯。

9.7 完整编码器-解码器架构

9.7.1 生活比喻：翻译员的工作流程 一个专业的翻译员工作时，脑子里同时运行两个阶段： 编码阶段：通读原文，理解全部意思。他可以在段落之间来回跳跃，用后文的信息帮助理解前文（比如看到"他"才

9.8 Decoder-Only -- 为什么 LLM 只用解码器

- Encoder-Only（BERT 系）相当于一个校对员。他拿到完整的文章，可以从头到尾反复阅读，前后对照，找出错别字或标记关键信息。但他不会自己写新文章。 - Encoder-Decoder（T5 系）相当于一个翻译员。他先通读原文（编码），理解全部意思，然后逐句翻译（解码

9.9 2026 Transformer 进化

9.9.1 GQA：分组查询注意力 标准多头注意力（MHA）中，每个头有独立的 Q、K、V。推理时，每生成一个新 token，需要存储所有历史 token 的 K 和 V（KV 缓存），避免重

第9章 · Transformer 架构精讲

Transformer 是现代 AI 的基石。从 2017 年的论文到 2026 年的每一款大模型，核心架构没变，但每个组件都被反复优化过。本章讲原理，不讲推导。第 10 章讲 LLM 层面的

10.1 什么是 LLM

大语言模型（Large Language Model，LLM）的本质可以浓缩为一句话：超大规模 Transformer Decoder 加上海量文本预训练。但这句话背后，藏着一条从 2018 年至今仍在加速的技术曲线。

10.3 2026 年开源 LLM 版图

2026 年的开源 LLM 格局已经形成了清晰的"六大家族"和"三个梯队"。与两年前只有 Llama 和 Mistral 撑场面的局面相比，今天的开源生态堪称百花齐放。更重要的是，开源模型与闭源模型的差距正在以前所未有的速度缩小——DeepSeek-V4 在推理能力上已与 GPT

10.4 MoE：稀疏激活的艺术

混合专家（Mixture of Experts，MoE）是一种让 LLM 既庞大又高效的架构技巧。它的核心思想可以用一句话概括：不是所有参数都参与每次计算。

10.5 Scaling Law：更大的力量

2020 年 OpenAI 在论文《Scaling Laws for Neural Language Models》中发现了一条后来成为 AI 行业"第一性原理"的规律：模型性能随参数量、数据量、计算量的增长呈幂律提升。 所谓幂律，就是规模翻倍带来的性能提升是可精确预测的——不是

10.6 上下文窗口的军备竞赛

上下文窗口（Context Window）是 LLM 在一次推理中能"看到"的最大文本量，以 token 为单位计算。它本质上就是 AI 的工作记忆——窗口内的信息模型可以引用和推理，窗口外的信息对模型来说等于不存在。

10.7 Tokenizer：AI 的词典

Tokenizer（分词器）是将人类文字翻译成 LLM 能理解的"数字语言"的翻译官。LLM 从未见过一个汉字或一个英文字母——它只见过整数编号。当你输入"你好世界"时，Tokenizer 先把它切成 token 序列（如 576, 152, 197），然后 LLM 才开始工作。

10.8 2026年主流LLM能力对比

截至2026年中期，六大主流LLM在各项能力维度上的横向对比。 10.8.1 基础规格 | 维度 | GPT-5.5 | Claude Opus 4.8 | Gemini 3.5 Pro | DeepSeek-V4 | Qwen 3.7 | GLM 5.2 | |------|-

10.9 LLM选型决策框架

面对 2026 年琳琅满目的 LLM 选择，如何做出理性决策？以下框架从三个维度提供结构化指导。 10.9.1 维度一：任务类型 → 推荐模型 | 任务场景 | 首选模型 | 备选方案 | 决策理由 | |---------|---------|---------|-------

第10章 · LLM 原理与架构演进

本章承接第 9 章 Transformer，聚焦 LLM 层面的架构演进：从自回归生成的基本原理到 2026 年的 MoE 稀疏激活、Scaling Law 的理论与修正、上下文窗口的军备竞赛

11.1 微调数据准备

微调数据，本质上就是"例题与标准答案的配对集合"。如果把预训练模型比作一个读了整个图书馆但从未参加过考试的学生，那么微调数据就是一套精心编写的模拟试卷——每一道"题目"（用户指令）后面都附有一份"标准答案"（期望回复）。学生做完这套卷子，就知道考试时该用什么格式、什么风格来答题了

11.14 什么时候微调 vs 什么时候用 RAG vs 什么时候用 Prompt

很多问题不需要微调，用更简单的方案就能解决。下面是决策对照表：

11.3 QLoRA：单卡微调大模型

11.2 讲的 LoRA 解决了"训练参数太多"的问题。但还有一个问题没解决：基座模型本身就要占用大量显存，哪怕参数冻结不训练。 一个 70B 参数的模型，用 float16 精度存储就需要 140GB 显存。一张 RTX 4090 只有 24GB——连模型都装不下，别说训练了。

11.7 灾难性遗忘详解

微调有一个常见的副作用：灾难性遗忘（Catastrophic Forgetting）。这是微调中最容易被忽视、但影响最大的问题之一。

11.8 常见错误

微调的每一步都可能踩坑。本节整理了实践中最高频的错误，每个都包含症状、根因和修法。这些问题在 LoRA/QLoRA SFT 场景中尤其常见 ^HuggingFace PEFT 文档常见问题 2025; Community Q&A, LoRA Debugging, 2025。

11.9 微调实操流程

前面 8 节讲完了微调要做什么和为什么。这一节讲怎么做——从零开始走一遍完整的微调流程，到部署上线。

第11章 · 模型微调

你用的 ChatGPT、Claude 都是"通用"AI（人工智能）——什么都会一点，但不一定擅长你需要的特定任务。比如你是一个律师，你需要 AI 用法律术语写合同。通用 AI 能写，但不够专业。

AI 安全基础

当你让 AI 帮你做事的时候，有没有想过：如果有人故意骗 AI，让它做不该做的事，怎么办？这篇讲 AI 最常见的安全问题和防护方法。

LLM 通用评估：怎么给 AI 打分

深挖-RAG评估 讲了怎么评估检索系统。但怎么评估 AI 本身？市面上那么多模型（GPT-5.5、Claude Opus 4.8、Gemini 3.5 Pro、Llama 4.1），谁知道谁更好？这篇讲三种主流的评估方法。

Constitutional AI（深挖）

深挖-偏好对齐 讲了两种教 AI 分辨好坏的方法。但有一个问题没解决："好坏"的标准谁定？

LoRA 微调（深挖）

这篇是进阶内容，面向想理解 LoRA 原理的读者。如果你是零基础初学者，先读 第11章 了解基本概念再回来看这篇。 公式可跳过：文中出现的矩阵符号（W ≈ A × B）可以直接跳过，看文字解释

偏好对齐：DPO vs GRPO（深挖）

Ch11 模型微调 介绍了 SFT（监督微调，给 AI 看标准答案让它学着模仿）教 AI "怎么做"，DPO（直接偏好优化）教 AI "什么样的答案更好"。这篇深入两种偏好对齐方法的区别。

模型蒸馏（深挖）

Ch11 模型微调 讲了怎么让模型学会新技能。深挖-模型量化 讲了怎么让模型变小。但还有个更聪明的方法：让大模型当老师，教小模型。 这就是模型蒸馏。

12.1 提示词为什么跟以前不一样

以前你让电脑做事，得写代码——用一种电脑才懂的语言，告诉电脑"第一步干嘛、第二步干嘛、条件是什么"。写错一个字母，整个程序就停了。这叫确定性：同样的代码，永远跑出同样的结果。 提示词不是这样。你说中文，AI 自己理解你的意思，然后给你答案。但同一个提示词问两次，AI 可能给出不同

12.2 提示词结构模板

虽然提示词是说人话，但一个结构化的模板能让你从"能用"提升到"好用"。2026 年业界最通用的提示词结构包含五个要素： 12.2.1 角色（Role） 告诉 AI "你是谁"。AI 会自动调整语气、知识范围和表达方式。 - 不说："帮我写邮件" - 要说："你是一个有十年经验的客

12.3 好提示词长什么样

虽然提示词是说人话，但"说得清楚"和"说得模糊"效果差别很大。几个实用技巧： 给角色。不说"帮我写一封邮件"，而是"你是一个有十年经验的客服主管，帮我写一封邮件回复客户投诉"。AI 会自动切换到"客服主管"的语气和措辞。 给格式。不说"总结这篇文章"，而是"用三句话总结这篇文章，

12.4 Few-shot 实战

Few-shot 是提示词工程中最强大的技巧之一——给 AI 看几个例子，让它照着学。但 Few-shot 用得好不好，差别巨大。 12.4.1 2-shot vs 3-shot vs 5-shot 的选择 "给几个例子"不是越多越好。选择示例数量的原则： | 示例数量 | 适用

12.5 Chain-of-Thought 深入

思维链（Chain-of-Thought, CoT）是让 AI 做推理时"展示思考过程"的技巧。2022 年由 Google 提出 ^Wei et al., "Chain-of-Thought Prompting Elicits Reasoning in Large Langua

12.6 提示词调试技巧

提示词不是一次写成的——好的提示词是"调试"出来的。以下是 2026 年业界最实用的调试方法： 12.6.1 从简单开始 不要一上来就写五要素完整的复杂提示词。从最短的提示词开始，测试 AI 是否能理解基本意图。如果能，再逐步加约束和格式要求。这样你能知道"是哪一步出了问题"。

12.7 提示词版本对比

同一个任务，不同提示词，天差地别。以下是实际对比：

12.8 2026 年：提示词正在消失

听起来矛盾——2026 年提示词工程反而没那么重要了。原因有三： 自动优化。DSPy（斯坦福 2024 年开源的工具）不再让你手写提示词——你定义"输入是什么、输出是什么、怎么评判好坏"，DSPy 自动搜索最优提示词。手写提示词像手写汇编代码——以后是编译器的事 ^Khattab

12.9 提示词有什么局限

你问一句，AI 答一句。对话结束。下一次你想继续聊同一个话题，得把前面聊过的内容再说一遍——AI 自己不记事儿。 这就是为什么后面还需要别的东西来帮忙：让 AI 自动拿到背景信息（上下文工程，Context Engineering——帮 AI 自动收集和管理每次对话所需的背景资料

第12章 · 提示词工程

提示词就是你跟 AI 说话时，你输入的那段话。 比如： - "帮我写一封道歉信" - 这段话就是提示词 - "把这句话翻译成英文：今天天气真好" - 这段话就是提示词 - "用三句话总结这篇文章的要点" + 贴上文章 - 这段话加文章都是提示词 不需要写代码。不需要懂编程。你说人

AI 对话的三年演变

2022 年底之前，你跟电脑说话，电脑听不懂。2023 年开始，一切都变了。这篇笔记梳理 AI 对话工具这三年怎么走到今天的。

Loop 工程：让 AI 自己转起来

- 提示词：怎么问 - 上下文工程：让 AI 看见什么 - Harness 工程：让 AI 能干什么、不能干什么

三种问法：Zero-shot、Few-shot、思维链

你已经知道了提示词是什么。现在讲三种不同的问法——同样是跟 AI 说话，怎么问效果差很多。

上下文工程

上篇讲了提示词的三个局限：AI 不记事儿、不能自己找资料、输出靠输入。这三件事指向同一个答案——上下文工程。

提示词的局限

前面三篇讲了提示词能做什么——直接问、给例子问、让它一步步想。现在讲它做不到什么。

系统提示词和用户提示词

你已经知道了：提示词就是你跟 AI 说话时输入的那段话。

DSPy：声明式 Prompt 编程（深挖）

前面学到的所有 Prompt 技巧（Zero-shot、Few-shot、思维链）都有一个共同的问题：提示词是人手工写的。 写得好不好，凭感觉。换一个任务，重新写。换一个模型，重新调。DSPy 的答案是：不要手工写提示词。写代码，让 AI 自己优化提示词。 DSPy（Declar

13.1 为什么需要 RAG

13.1.1 LLM 的三大局限 AI（人工智能）的知识来自训练数据。训练完之后就不会自动更新了。你问它"今天北京天气怎么样"，它不知道——训练数据里没有"今天"。具体来说，大语言模型（LLM

13.10 第五代：知识图谱辅助（Graph RAG）

有些问题需要"多跳推理"——不是搜一次能解决的。 比如"张三的老板的老板是谁"——你得先找到"张三的老板是谁"，再找"那个人的老板是谁"。传统 RAG 搜一次只能回答第一跳。 13.10.1 Graph RAG 的原理 2024 年微软开源了 Graph RAG——它不把文档当纯

13.12 RAG 高级技术

五代进化讲的是 RAG 的宏观演变路径。但在每一代内部，还有大量"高级技术"可以提升效果。这些技术不是独立的一代，而是可以在任何一代上叠加的优化手段。 13.12.1 HyDE（假设文档嵌入） 2023 年提出的反直觉但有效的技术。核心思路：用生成来增强检索。 传统 RAG 的问

13.13 RAG 评估

你搭了一个 RAG 系统，改了分块策略，换了重排序模型——你怎么知道它变好了还是变差了？RAG 评估就是回答这个问题的。 13.13.1 为什么 RAG 评估这么难 评估一个聊天机器人相对容易——你问一个问题，看它回答得好不好。但 RAG 系统有两层：检索层和生成层。答案不好，可

13.14 RAG vs 微调 vs 长上下文

RAG 不是唯一的选择。面对"让 LLM 知道更多信息"这个问题，你有三种方案：RAG、微调、长上下文。2026 年，这三种方案各有各的位置。 13.14.1 三种方案对比 RAG：检索 + 生成。知识存在外部数据库里，查询时动态检索。知识更新：实时（改数据库就行）。成本：每次查

13.15 RAG 生产部署

从 Jupyter Notebook 里的 Demo 到生产环境可用的系统，中间有一大段路要走。这一节讲 2026 年 RAG 生产部署的实践建议。 13.15.1 2026 RAG 技术栈推荐 入门级（个人项目 / MVP）： - 向量数据库：Chroma（开源，Python

13.16 动手搭一个 RAG

前面讲了这么多理论，这一节用最少的代码，让你真正跑起来一个 RAG 系统。 13.16.1 30 行代码搭一个最小 RAG 13.16.2 逐步解释 第 1-3 行：导入库。chromadb 是向量数据库，openai 提供 Embedding 和 LLM 能力。 第 6-12

13.2 RAG 系统架构

RAG 看起来很直观，但背后是一套工程系统。理解它的架构，你才能理解为什么"分块大小"、"检索策略"、"重排序"这些细节如此重要。 13.2.1 两条管线：离线索引 + 在线查询 RAG 系统由两条管线组成，一条在用户提问前运行（离线），一条在用户提问时运行（在线）。 离线索引管

13.3 分块策略 —— RAG 的地基

分块（Chunking）是 RAG 系统中最容易被低估的环节。检索质量的上限，很大程度上由分块策略决定。分得太大，检索不准；分得太小，语义不完整；分得不合理，后面全白搭。 13.3.1 为什么需要分块 三个原因。第一，Embedding 模型有输入长度限制。 很多开源 Embed

13.4 第一代：关键词搜索（稀疏检索）

最早的做法：把用户的问题当成搜索关键词，在文档库里找包含这些词的文档。 比如用户问"头疼吃什么药"，系统搜索包含"头疼""什么""药"这些词的文档，找到一堆相关文章，塞给 AI。AI 读完后回答。 13.4.1 稀疏检索的原理 这种方法叫关键词检索，在信息检索领域有更专业的名字—

13.5 第二代：语义搜索（稠密检索）

后来有了更好的办法：把文本变成一串数字（叫"向量"），语义相近的文本，数字也相近。 "苹果手机"和"iPhone"在向量空间里离得很近——因为它们意思一样。即使用词完全不同，系统也能找到。 13.5.1 稠密检索的原理 这种方法叫语义检索（也叫稠密检索——"稠密"的意思是每个词的

13.6 第三代：混合检索

关键词检索和语义检索各有优点。关键词检索在搜人名、地名、专有名词时更准。语义检索在搜意思相近的内容时更准。 2025 年开始，实际系统都是混合检索——两边一起搜，把结果合并，再做一次排序，挑最相关的内容给 AI。这样既不会漏掉精确匹配的关键词结果，也能找到语义相近的内容 ^Sta

13.7 重排序 —— 提升精度的关键

混合检索给了你 Top-K 个候选文档（K 通常取 20-50），但这些候选文档的质量参差不齐。你需要一个"精选"环节——从 50 个候选中挑出最相关的 3-5 个，塞进 LLM 的 Prompt。这就是重排序。 13.7.1 为什么需要重排序 初检（Embedding + BM

13.8 生成阶段 —— 让 LLM 用上检索结果

检索和重排序完成了"找资料"的工作，但最终的质量取决于 LLM 怎么"用"这些资料。生成阶段的设计同样重要。 13.8.1 Prompt 模板设计 RAG 的 Prompt 模板通常包含四个部分： 1. 系统角色设定：告诉 LLM 它是谁。"你是一个专业的技术文档助手"和"你是一

13.9 第四代：AI 自己决定怎么搜（Agentic RAG）

前三代的做法都是人预先定好的流程——搜几次、怎么搜、搜什么，都是固定的。 2025 年出现了新思路：让 AI 自己决定。AI 拿到问题后，自己判断——这个问题需要搜几次？每次搜什么关键词？搜索结果够不够好？不够就换个方式再搜一次。 13.9.1 Agentic RAG 的核心思想

第13章 · RAG 进化树

你在 产品-AI搜索演变 里看到过这个词。它听起来很学术，但做的事情很简单：先搜资料，再让 AI 根据资料回答。 这篇讲这个技术怎么从简单变复杂的。

AI 搜索的三年演变

2022 年之前，搜索就是：打开 Google 或百度，输入关键词，在一堆蓝色链接里找答案。2023 年开始，这个习惯被颠覆了——不是给你链接，是直接给你答案。

上下文管理

你在 概念-上下文工程 里学过——AI 一次能记住的字数有限，怎么把最重要的东西放进去，就是上下文管理做的事。这篇讲具体怎么做的。

向量数据库演变

Ch13 RAG 进化树 里提到语义检索需要"把文本变成向量"。这篇解释：向量是什么、怎么存的、存的地方怎么从零到现在的。

RAG 系统评估（深挖）

你搭了一个 RAG 系统，怎么知道它好不好？不是"感觉还行"就行——需要量化。这篇讲三个通用的评估维度和最常用的工具。

上下文压缩（深挖）

概念-上下文管理 提到对话太长时需要压缩。这篇深入两种压缩策略：提取式（保留关键句）和生成式（重写摘要）。以及它们各自的适用场景。 为什么不能直接截断 最简单的办法：对话太长？只保留最近 10 轮，前面的丢掉。 问题：用户在第 3 轮说"我是律师"，第 15 轮说"帮我审这份合同

分块策略（深挖）

检索增强生成（RAG）需要把长文档切成小块。切法不对，检索全废。这篇深入四种分块策略的优劣和选型。

图谱检索 RAG（深挖）