索引 / 标签
#基础
共 89 篇
- Ch03 AI数学
概念-采样策略
AI 生成文本时，不是直接选概率最高的词，而是从概率分布中"采样"——Temperature、Top-K、Top-P 是三种控制"随机性"的策略，决定 AI 是保守还是创意。
约 2 分钟711 字 - Ch04 机器学习
- Ch05 评估与特征工程
- Ch06 神经网络基础
- Ch10 LLM架构
概念-LLM概述
LLM（Large Language Model，大语言模型）是一种通过海量文本训练出来的神经网络，核心能力是"预测下一个词"——但规模足够大后，涌现出推理、翻译、编程等复杂能力。
约 1 分钟284 字 - Ch11 模型微调
概念-SFT
SFT（Supervised Fine-Tuning，监督微调）是用高质量"问题-答案"对来训练模型，让它学会按指令回答——这是把"只会补全文本"的预训练模型变成"能听懂人话"的对话模型的关键一步。
约 1 分钟352 字 - Ch04 机器学习
决策树 (Decision Tree)
决策树 (Decision Tree) 是机器学习中最基础、最直观的模型之一。它的核心思想非常简单：通过一系列 if-then 规则将数据不断划分，最终做出预测。决策树既可以用于分类 (Classification Tree) 也可以用于回归 (Regression Tree,
约 4 分钟1,261 字 - Ch05 评估与特征工程
5.1 过拟合 vs 欠拟合：模型的两大病症
在谈评估指标之前，先搞清楚模型"学得不好"的两种典型情况。 5.1.1 欠拟合（Underfitting） 模型太简单，连训练数据里的规律都没学会。就像学生只背了课本第一页就去考试——连做过的题都做不对。 | 特征 | 表现 | |---|---| | 训练集表现 | 差（训练误
约 6 分钟1,811 字 - Ch05 评估与特征工程
5.2 分类问题的评估
混淆矩阵：一个 2x2 的表格。 - TP（真阳性）：病人有病，AI 说有病 —— 正确 - FP（假阳性）：病人没病，AI 说有病 —— 误报 - TN（真阴性）：病人没病，AI 说没病 —— 正确 - FN（假阴性）：病人有病，AI 说没病 —— 漏报 准确率 = (TP +
约 2 分钟608 字 - Ch05 评估与特征工程
5.4 评估指标的完整体系
这一节给出完整的指标体系——每类问题的每种指标，都包含公式、直觉和适用场景。选择正确的指标，等于告诉模型"你该朝哪个方向优化"。 在深入之前，先建立回归评估的直觉。回归问题关心的是"预测值离真实值有多远"，三句话概括核心指标： MAE（平均绝对误差）：预测值和真实值的绝对差距的平
约 1 分钟333 字 - Ch05 评估与特征工程
5.5 混淆矩阵深度解析
混淆矩阵是所有分类指标的源头。理解它，你就能自己推导出任何分类指标。 5.5.1 混淆矩阵的四个象限 TP（True Positive，真正例）：模型说"是"，实际也是"是"。病人有病，AI 说有病——正确诊断。 FP（False Positive，假正例）：模型说"是"，实际是
约 2 分钟798 字 - Ch05 评估与特征工程
5.6 交叉验证完全指南
交叉验证是机器学习中最基本的评估技术之一。它的核心思想很简单：不要只用一次划分来评估模型，多次划分取平均，结果更可靠。 5.6.1 为什么需要交叉验证 单次训练/测试划分的问题： - 测试集恰好全是简单样本 → 模型看起来比实际好 - 测试集恰好全是困难样本 → 模型看起来比实际
约 2 分钟616 字 - Ch05 评估与特征工程
5.7 特征工程实战
特征工程是机器学习中"将原始数据转化为模型能理解的形式"的过程。2026 年，虽然深度学习减少了对手工特征工程的依赖，但在传统 ML 和结构化数据场景中，特征工程仍然是决定模型性能的最关键因素。好的特征能让简单的模型超越复杂的模型。 5.7.1 数值特征处理 数值特征是机器学习中
约 13 分钟4,029 字 - Ch05 评估与特征工程
5.8 2026 年：AutoML 和自动化特征工程
传统机器学习中，特征工程是"手工活"——数据科学家花 70% 的时间洗数据、造特征、选特征。2026 年，AutoML（自动机器学习）工具正在改变这个局面，但理解其能力和局限至关重要。 5.8.1 主流 AutoML 工具对比 AutoGluon（AWS 开源，2020 年发布）
约 4 分钟1,418 字 - Ch05 评估与特征工程
第5章 · 模型评估与特征工程
Ch04 机器学习核心算法 讲了五个必知算法。但"算法好不好"需要量化指标。这篇讲评估方法和特征工程的入门。 生活比喻：模型评估就像考试——你刷了很多题（训练模型），但真正检验水平的是模拟考（测试集）。过拟合是死记硬背、只会做原题换个数字就不会了；欠拟合是根本没学进去，连原题都做
约 1 分钟447 字 - Ch07 CNN与CV
7.1 卷积：滑动窗口看局部
上一章 全连接网络 面对图像时有一个致命缺陷：将一张 224x224 的彩色图片展开，瞬间变成 150528 个独立数字，第一层若有 1000 个神经元，参数量直奔 1.5 亿。人眼不是这样看世界的——你不会同时看清一张照片的所有像素，你的视线在一个小区域内聚焦，然后移动。
约 5 分钟1,750 字 - Ch07 CNN与CV
7.10 图像分割：像素级的理解
分类告诉你"图片里有猫"，检测告诉你"猫在 (100, 200) 到 (300, 400) 这个框里"，分割告诉你每个像素属于什么——猫的每一根毛、背景的每一片叶子都被精确标注。 7.10.1 语义分割（Semantic Segmentation）：每个像素一个类别 FCN（Fu
约 3 分钟906 字 - Ch07 CNN与CV
7.11 CNN vs ViT vs 混合架构：2026 年 CV 领域格局
CNN 擅长局部特征（卷积核 3x3 的小窗口）。Transformer 擅长全局关系（自注意力看整张图任意两个位置的关系）。 2020 年 ViT（Vision Transformer，视觉 Transformer） 出现后——它把图片切成一个个小方块（patch），每个块当作
约 1 分钟331 字 - Ch07 CNN与CV
7.12 2026年CV的应用前沿
CNN在2026年已经渗透到各行各业，以下领域是增长最快、影响最深远的： 医学影像诊断：CNN在X光片、CT、MRI图像上检测肿瘤、骨折、病变的准确率已经超过资深放射科医生。2026年，FDA批准的AI医疗影像产品超过200个。关键突破是"多模态医学AI"——CNN分析影像 +
约 1 分钟386 字 - Ch07 CNN与CV
7.13 什么时候选什么技术
7.13.1 选 CNN 的场景 - 数据量少（几千到几万张图片）——CNN 的局部假设本身就是一种"先验知识"，小数据下比 Transformer 泛化好 - 需要实时响应——YOLO 检测
约 1 分钟437 字 - Ch07 CNN与CV
7.14 CNN学习路线
如果你想系统学习CNN，按以下路线走，从基础到前沿： 第一站：LeNet（1998）——理解CNN的基本单元 学什么：卷积层、池化层、全连接层的串联方式。用MNIST手写数字识别跑通第一个CNN。搞清楚"卷积核在做什么"和"特征图是什么"。耗时约2小时。 第二站：AlexNet（
约 1 分钟470 字 - Ch07 CNN与CV
7.2 卷积运算的数学直觉
7.2.1 卷积核到底在做什么 卷积核本质上是一个模式检测器。想象你有一个3x3的小窗口，里面装着9个数字（权重），你把这个窗口在图片上滑动，每一步计算窗口和图片局部区域的点积。不同的权重组合
约 4 分钟1,262 字 - Ch07 CNN与CV
7.3 池化：缩小特征图
卷积层输出的是几十甚至几百张特征图，每张的尺寸和原图差不多（如果用了 same padding）。一张 224x224 的输入经过一个 64 通道的卷积层后，输出是 64x224x224——超过 320 万个数字。如果不加处理直接送入下一层，计算量太大，且每个数字对最终判断的重要
约 6 分钟1,810 字 - Ch07 CNN与CV
7.4 CNN 的核心组件深入
把 CNN 拆开来看，每个组件都在解决一个具体问题。理解每个组件"为什么存在"，比记住它的公式重要得多。 7.4.1 卷积层（Convolutional Layer）：CNN 的核心引擎 卷积层有几个关键超参数，决定了特征图的大小和感受野： 核大小（Kernel Size）：最常
约 6 分钟1,780 字 - Ch07 CNN与CV
7.5 经典架构
AlexNet（2012）：深度学习引爆点。8 层，第一次在 ImageNet（一个包含 1000 多个类别、超过 120 万张人工标注图片的超大规模图像数据库——2010 年代它是判断一个视觉模型好不好的"奥运会"标准）上用 GPU（图形处理器，原本为游戏渲染设计，但它的几千个
约 2 分钟719 字 - Ch07 CNN与CV
7.6 经典 CNN 架构详解：从 1998 到 2022 的创新之路
每一个经典架构都解决了一个核心问题，理解它们就是理解 CNN 的进化史。 7.6.1 LeNet-5（1998）：一切开始的地方 Yann LeCun 在 1998 年设计了 LeNet-5，用于手写数字识别（MNIST 数据集）。结构极其简单：Conv → Pool → Con
约 8 分钟2,450 字 - Ch07 CNN与CV
7.8 CNN 的训练技巧
训练一个高性能 CNN 不只是搭好架构——训练技巧同样重要，有时甚至比架构更重要。2026 年的最佳实践包括： 7.8.1 数据增强（Data Augmentation）：凭空创造数据 CNN 需要大量数据才能泛化，但标注数据很贵。数据增强在训练时"凭空"创造更多训练样本。 基础
约 2 分钟798 字 - Ch07 CNN与CV
7.9 目标检测 — 从 R-CNN 到 YOLO
目标检测不是"这张图是什么"，而是"这张图里有什么，分别在哪里"。需要同时预测物体的类别和边界框（bounding box）。 7.9.1 两阶段检测器：先找候选区域，再分类 R-CNN（2014）：用选择性搜索（Selective Search）生成约 2000 个候选区域，每
约 3 分钟1,036 字 - Ch07 CNN与CV
第7章 · CNN 与计算机视觉
Ch06 神经网络基础 讲了一个通用网络——全连接层堆叠。但处理图片时，全连接层有致命缺陷：把一张 224x224 的图片展开成 50176 个数字，第一层就有几千万个参数。太多了，根本训练不动。 CNN（卷积神经网络）解决了这个问题。它的核心思想朴素而深刻：图片中相邻的像素才有
约 3 分钟904 字 - Ch08 RNN序列模型
8.1 RNN：有记忆的网络
全连接网络和 CNN 都是"看完就忘"——输入一个数据，输出一个结果，下一个输入和上一个没关系。RNN 多了一个"隐藏状态"——网络处理每个单词时，会参考上一个单词留下的记忆。 8.1.1 展开循环图：信息如何在时间步间传递 RNN 的核心思想可以用一句话概括：同一个网络，在不同
约 1 分钟468 字 - Ch08 RNN序列模型
8.2 LSTM：更长的记忆
普通 RNN 有"短期记忆丧失"——第 100 个词很难影响第 1 个词的理解。原因是梯度在反向传播中指数衰减（反向传播过 100 层，梯度的乘积越来越小）。 LSTM（长短期记忆，1997 年）用三个"门"解决了这个问题： 8.2.1 遗忘门：决定扔掉什么 遗忘门看当前的输入和
约 3 分钟828 字 - Ch08 RNN序列模型
8.3 梯度消失与梯度爆炸：为什么深层 RNN 训练不好
这是 RNN 最核心的技术难题，也是理解 LSTM/GRU 为什么被发明的关键。 8.3.1 梯度是什么 训练神经网络 = 不断调整参数，让预测更准确。梯度就是"每个参数应该往哪个方向调、调多少"的信号。梯度大 = 这个参数需要大幅调整；梯度小 = 这个参数基本不用动。 8.3.
约 2 分钟602 字 - Ch08 RNN序列模型
8.4 双向 RNN：同时看过去和未来
前面讲的 RNN 都是单向的——从左到右读，只能看到"过去"的信息。但有些任务需要同时看到上下文： - "我今天很，因为考试得了满分" —— 只看前面不知道填什么，看到后面"满分"才知道是"开心" - 命名实体识别中，"华盛顿"是人名还是地名，取决于前后文 双向 RNN 的做法：
约 1 分钟231 字 - Ch08 RNN序列模型
8.5 Seq2Seq：输入一串，输出一串
假设你要把"我打你"翻译成英文"I hit you"。这不是简单的单词替换——中文三个字，英文三个词，但顺序不同（"打"对应"hit"在中间，"我"对应"I"在开头）。更关键的是，你需要先理解整个中文句子的含义，然后用英文的语法重新表达。
约 6 分钟1,837 字 - Ch08 RNN序列模型
8.6 2026 年：理解 RNN 是理解序列建模的基础
2026 年，几乎所有大模型（GPT-5.5、Claude Opus 4.8、Gemini 3.5 Pro）都基于 Transformer 架构。你可能会问：既然 Transformer 统治了一切，为什么还要学 RNN？
约 3 分钟986 字 - Ch08 RNN序列模型
第8章 · RNN 与序列模型
Ch07 CNN 与计算机视觉 讲了卷积核怎么看图。但图片是静态的——一张图就是一个快照。文字不一样——"我打你"和"你打我"词一样，顺序不同，意思完全不同。 RNN（循环神经网络）就是为"顺序敏感"的数据设计的。 生活比喻：RNN 像一个人边读小说边记笔记——每读完一句，你把这
约 1 分钟479 字 - Ch01 AI简史
1.1 第一次浪潮：符号主义的兴起与寒冬（1956--1980）
符号主义（Symbolism）是人工智能历史上第一个主流范式。它的核心假设可以用一句话概括：智能就是对符号的操作。
约 9 分钟2,855 字 - Ch01 AI简史
1.2 第二次浪潮：连接主义的兴起与寒冬（1986--2012）
连接主义（Connectionism）的关键词不是「规则」，而是「学习」。它的核心思想是：不告诉机器怎么做，而是给机器看大量例子，让它自己找出规律。
约 10 分钟3,192 字 - Ch01 AI简史
1.3 第三次浪潮：深度学习（2012--至今）
2012 年，AlexNet 在 ImageNet 图像识别比赛中碾压所有传统方法，错误率从前一年的 26% 降到 16%。不是算法新（卷积神经网络 1998 年就有了），而是三条曲线交汇了：大数据（ImageNet 有 120 万张标注图片）+ 大算力（GPU 开始普及）+ 老
约 1 分钟286 字 - Ch01 AI简史
- Ch01 AI简史
1.5 2026 年 AI 格局
基础模型层（Foundation Model Layer） - OpenAI：GPT-5.5系列，从GPT-3.5（2022）到GPT-4（2023）到GPT-5（2025）到GPT-5.5（2026），保持闭源最强地位。o系列推理模型（o1、o3、o5）在数学和编程上拉开差距。
约 2 分钟560 字 - Ch01 AI简史
第1章 · AI简史与必知过时技术
AI 不是一夜之间出现的。从 1956 年到今天，经历了三次浪潮、两次寒冬。这一章不讲算法细节，讲历史脉络——每个时代的核心思想是什么、为什么兴起、为什么倒下，以及哪些已经过时的技术你不需要学，但需要知道它们存在过。
约 4 分钟1,362 字 - Ch02 Python与数据科学
- Ch02 Python与数据科学
2.2 Python环境管理：venv vs conda vs poetry vs uv
当你开始做多个项目时，不同项目可能需要不同版本的 Python 和库。比如项目 A 用 Python 3.11 + NumPy 1.x，项目 B 用 Python 3.12 + NumPy 2.x。如果全装在全局环境里，版本冲突会让你痛不欲生。解决方案是虚拟环境——每个项目拥有独
约 1 分钟400 字 - Ch02 Python与数据科学
2.3 Jupyter Notebook实战：AI开发的交互式工作台
Jupyter Notebook 是一个在浏览器里运行的交互式编程环境。它和普通 .py 文件最大的区别是：代码分"单元格"（cell）运行，中间结果自动保留在内存里。
约 2 分钟631 字 - Ch02 Python与数据科学
- Ch02 Python与数据科学
- Ch02 Python与数据科学
2.7 2026 年推荐学习路径：不要从头学 Python，按需学
传统 Python 学习路径（不要这么做）： 1. 花 3 个月学 Python 基础语法 2. 花 2 个月学面向对象编程 3. 花 1 个月学 Web 框架 4. 然后才开始学 AI
约 1 分钟342 字 - Ch02 Python与数据科学
- Ch02 Python与数据科学
- Ch02 Python与数据科学
第2章 · Python 与数据科学生态
AI 从业者不需要精通 Python，但需要会用三个工具处理数据：NumPy（数组计算）、Pandas（表格处理）、Matplotlib（画图）。这篇覆盖最常用的 20%。
约 2 分钟750 字 - Ch03 AI数学
3.1 线性代数：向量和矩阵
向量：一串数字。0.2, 0.8, -0.3。你已经在 深挖-稠密检索 里见过——Embedding 就是向量。向量的长度（模）代表"信号的强度"，两个向量的夹角（余弦距离）代表"含义的相似度"。
约 11 分钟3,545 字 - Ch03 AI数学
3.2 概率统计：理解不确定性
概率分布：AI 不是输出一个确定答案，而是输出一个概率分布——每个可能的下一个 token 的概率。"今天天气真"之后，下一个 token 是"好"的概率 0.7，"不"的概率 0.2，"是"的概率 0.05...
约 9 分钟2,780 字 - Ch03 AI数学
3.3 微积分：理解优化
梯度：函数在某点的"最陡上升方向"。AI 训练的目标是让损失函数（衡量模型多差）尽可能小。怎么找到最小的点？每一步沿着梯度的反方向走——这就是"梯度下降"。 你不需要手算梯度——PyTorch 的 autograd（自动求导引擎，它像账本一样默默记录你做的每一个运算，需要梯度时自
约 6 分钟1,767 字 - Ch03 AI数学
3.4 优化理论 — 让 AI 找到最优解
前面讲的梯度下降是优化理论的基础。这一节深入展开：AI 训练的优化不只是"往梯度反方向走"那么简单，它涉及一整套理论和工程技巧。 3.4.1 凸优化 vs 非凸优化：为什么深度学习的优化这么难 凸函数（Convex Function）：函数图像像一个碗。任意两点连线都在函数图像之
约 8 分钟2,576 字 - Ch03 AI数学
3.5 信息论基础
信息论是 AI 的另一个数学基石。它回答"信息是什么"、"不确定性怎么量化"等基础问题。交叉熵、KL 散度等概念都来自信息论。 3.5.1 信息熵（Entropy）：衡量不确定性的标尺 信息熵回答一个问题："这个随机事件有多不确定？" 数学定义：H(X) = -Σ p(x) ×
约 4 分钟1,199 字 - Ch03 AI数学
3.6 数学在 AI 各领域的应用地图
不同的 AI 领域对数学的需求不同。这张地图帮你了解"学什么方向需要用哪些数学"。 3.6.1 计算机视觉（CV）需要的数学 | 数学领域 | 具体应用 | 重要程度 | |---------|---------|---------| | 线性代数 | 卷积操作本质是矩阵乘法；图
约 2 分钟777 字 - Ch03 AI数学
- Ch03 AI数学
3.8 2026年：你需要多少数学
前面几节铺开了 AI 涉及的数学领域。但不同角色的"够用线"完全不同。这一节用一张表对齐你的目标和所需数学深度，帮你避免"学太多"或"学太少"。
约 2 分钟722 字 - Ch03 AI数学
第3章 · AI 需要的数学
你不需要成为数学家。做 AI 应用层工作，三个数学领域各需要懂一点：线性代数（理解矩阵运算）、概率统计（理解数据）、微积分（理解优化）。每个领域只讲用得上的部分。 学习哲学：直觉比推导更重要 这是 AI 应用层最重要的区分：你不需要会推导，但需要会理解。 数学推导：从公式出发，一
约 3 分钟948 字 - Ch04 机器学习
4.1 三大类学习
机器学习的所有算法，按照"有没有标准答案"和"怎么给反馈"，可以分成三大类：监督学习、无监督学习、强化学习。这三类的区别，决定了你需要什么样的数据、能解决什么样的问题、以及怎么评估好坏。
约 10 分钟3,194 字 - Ch04 机器学习
- Ch04 机器学习
4.5 过拟合和欠拟合
你花了三天三夜背了 100 道课后习题的全部答案。考试时，试卷原封不动地出了这 100 道题——你得满分。但下一次考试换了一套新题，你一道都不会。过拟合（Overfitting）就是这个意思：模型把训练数据的细节和噪声都记下来了，但并没有学到真正通用的规律 ^Goodfellow
约 10 分钟3,169 字 - Ch04 机器学习
- Ch04 机器学习
4.7 机器学习项目实战流程
一个真实的机器学习项目，写代码训练模型只是其中一小步。CRISP-DM（Cross-Industry Standard Process for Data Mining，跨行业数据挖掘标准流程）是业界最广泛采用的 ML 项目框架，诞生于 1999 年，至今（2026 年）仍然是所有
约 8 分钟2,591 字 - Ch04 机器学习
第4章 · 机器学习核心算法
深度学习统治了今天的 AI，但机器学习是地基。本章从基础范式出发，覆盖核心算法、关键概念和实战流程。 生活比喻：机器学习算法像不同类型的厨师——线性回归是拿尺子量着菜谱做的严谨派，决策树是"如果食材发黏就扔掉，如果颜色正常就下锅"一步步判断的经验派，XGBoost 是让多位厨师依
约 2 分钟717 字 - Ch06 神经网络基础
6.1 感知机：神经网络的原子
一个感知机（Perceptron）就是"加权求和 + 激活"。在老教材里，这整个体系叫 ANN（人工神经网络），但现在大家直接叫"神经网络"或"深度学习"。本文用"神经网络"。
约 5 分钟1,519 字 - Ch06 神经网络基础
6.10 反向传播：怎么让模型变好
前向传播算出预测，损失函数给出分数——接下来，怎么让分数变小？答案就是反向传播（Backpropagation），它是让神经网络"学会"的核心算法。
约 4 分钟1,185 字 - Ch06 神经网络基础
6.11 学习率调度的艺术
学习率（Learning Rate, LR）是训练神经网络最重要的超参数之一。它决定了每一步参数更新的幅度：太大，跳过最优点甚至发散；太小，训练慢得像蜗牛。学习率调度（LR Schedule）就是让学习率在训练过程中动态变化，在不同阶段使用不同的步长。 6.11.1 从常数到余弦
约 2 分钟772 字 - Ch06 神经网络基础
6.12 2026年：从零手写神经网络还有意义吗
今天的AI生态和2015年已经完全不同。一个现实的问题摆在每个学习者面前：该投入多少精力学"从零搭建神经网络"？ 6.12.1 三种需求层次 层级一：调用API 你只需要知道怎么发HTTP请求，把prompt送进去，把结果拿回来。不需要理解模型内部结构。适合做产品开发、业务集成的
约 3 分钟839 字 - Ch06 神经网络基础
6.2 层：感知机的堆叠
神经网络是分层的。每一层有很多个神经元（感知机），前一层的输出是后一层的输入。 输入层（接收数据）- 隐藏层（做计算）- 输出层（给结果）。 一个词向量（768 个数字）进入 Transformer（一种用自注意力取代逐字阅读的神经网络架构——它让每个词同时看到句子里所有其他词，
约 1 分钟218 字 - Ch06 神经网络基础
6.3 神经网络为什么有效
神经网络的核心能力来自两个机制：表示学习和层级抽象。 6.3.1 表示学习：让机器自己找特征 传统机器学习需要人工设计特征——比如识别猫，你得手工定义"耳朵是三角形的、眼睛位置、毛色分布"。一个特征工程可能要花几个月，换个任务（从猫换成狗）又得重新设计。 神经网络的做法完全不同：
约 2 分钟663 字 - Ch06 神经网络基础
6.4 激活函数：为什么不能全用线性
如果不用激活函数，不管堆多少层，整个网络还是线性的——只能画直线。真实世界不是直线。 ReLU（Rectified Linear Unit）：f(x) = max(0, x)——正数就原样输出，负数就输出 0。简单到不像话，但效果极好。2012 年 AlexNet 第一个大规模使
约 1 分钟331 字 - Ch06 神经网络基础
6.5 常见激活函数深入
前面介绍了四种激活函数的基本形态，这里深入讲几个关键细节。 6.5.1 ReLU的死亡神经元问题 ReLU的公式 f(x) = max(0, x) 有一个致命缺陷：一旦某个神经元的所有输入都让它输出0（即加权和+bias为负），该神经元的梯度就永远是0——梯度为0意味着参数不再更
约 2 分钟577 字 - Ch06 神经网络基础
6.6 归一化层：BatchNorm 与 LayerNorm
神经网络训练中，每一层的输出分布会随着参数更新不断变化——深层网络里，前面层参数的微小变化会被后面层放大，导致训练不稳定。这个现象叫"内部协变量偏移"（Internal Covariate Shift）。归一化层的核心思想很简单：把每一层的输出重新拉回均值为0、方差为1的标准分布
约 3 分钟889 字 - Ch06 神经网络基础
6.7 权重初始化
6.7.1 为什么初始化这么重要 训练神经网络的本质是用梯度下降在参数空间中寻找最优点。初始参数的位置决定了： - 收敛速度：初始点离最优点近，几步就到了；离得远，可能要跑几万步 - 能否收敛
约 3 分钟862 字 - Ch06 神经网络基础
6.8 前向传播：从输入到输出
前向传播（Forward Propagation）是神经网络"用"的过程——输入数据一层层往前走，每层做矩阵乘法加激活函数，最终输出一个结果。你每次用 ChatGPT 回答问题，它内部做的就是这件事。
约 3 分钟1,016 字 - Ch06 神经网络基础
6.9 损失函数：衡量模型多差
前向传播给出了预测，但这个预测和标准答案有多大的差距？损失函数（Loss Function）就是量化这个差距的"打分员"。训练神经网络，本质上就是在不断地让这个分数变小。
约 3 分钟1,018 字 - Ch06 神经网络基础
第6章 · 神经网络基础
你已经用了很多 AI，但还不知道它"长什么样"。神经网络就是 AI 的物理形态——一堆数字经过一层层变换，从输入走到输出。这篇用最简单的语言解释这个过程。 生活比喻：神经网络像一条流水线——原材料（输入数据）经过一道道工序（层），每道工序做一点加工（加权求和），质检员（激活函数）
约 2 分钟767 字 - Ch12 Prompt工程
12.1 提示词为什么跟以前不一样
以前你让电脑做事，得写代码——用一种电脑才懂的语言，告诉电脑"第一步干嘛、第二步干嘛、条件是什么"。写错一个字母，整个程序就停了。这叫确定性：同样的代码，永远跑出同样的结果。 提示词不是这样。你说中文，AI 自己理解你的意思，然后给你答案。但同一个提示词问两次，AI 可能给出不同
约 1 分钟282 字 - Ch12 Prompt工程
12.2 提示词结构模板
虽然提示词是说人话，但一个结构化的模板能让你从"能用"提升到"好用"。2026 年业界最通用的提示词结构包含五个要素： 12.2.1 角色（Role） 告诉 AI "你是谁"。AI 会自动调整语气、知识范围和表达方式。 - 不说："帮我写邮件" - 要说："你是一个有十年经验的客
约 2 分钟651 字 - Ch12 Prompt工程
12.3 好提示词长什么样
虽然提示词是说人话，但"说得清楚"和"说得模糊"效果差别很大。几个实用技巧： 给角色。不说"帮我写一封邮件"，而是"你是一个有十年经验的客服主管，帮我写一封邮件回复客户投诉"。AI 会自动切换到"客服主管"的语气和措辞。 给格式。不说"总结这篇文章"，而是"用三句话总结这篇文章，
约 1 分钟333 字 - Ch12 Prompt工程
12.4 Few-shot 实战
Few-shot 是提示词工程中最强大的技巧之一——给 AI 看几个例子，让它照着学。但 Few-shot 用得好不好，差别巨大。 12.4.1 2-shot vs 3-shot vs 5-shot 的选择 "给几个例子"不是越多越好。选择示例数量的原则： | 示例数量 | 适用
约 2 分钟583 字 - Ch12 Prompt工程
12.5 Chain-of-Thought 深入
思维链（Chain-of-Thought, CoT）是让 AI 做推理时"展示思考过程"的技巧。2022 年由 Google 提出 ^Wei et al., "Chain-of-Thought Prompting Elicits Reasoning in Large Langua
约 3 分钟920 字 - Ch12 Prompt工程
12.6 提示词调试技巧
提示词不是一次写成的——好的提示词是"调试"出来的。以下是 2026 年业界最实用的调试方法： 12.6.1 从简单开始 不要一上来就写五要素完整的复杂提示词。从最短的提示词开始，测试 AI 是否能理解基本意图。如果能，再逐步加约束和格式要求。这样你能知道"是哪一步出了问题"。
约 2 分钟788 字 - Ch12 Prompt工程
- Ch12 Prompt工程
12.8 2026 年：提示词正在消失
听起来矛盾——2026 年提示词工程反而没那么重要了。原因有三： 自动优化。DSPy（斯坦福 2024 年开源的工具）不再让你手写提示词——你定义"输入是什么、输出是什么、怎么评判好坏"，DSPy 自动搜索最优提示词。手写提示词像手写汇编代码——以后是编译器的事 ^Khattab
约 1 分钟326 字 - Ch12 Prompt工程
12.9 提示词有什么局限
你问一句，AI 答一句。对话结束。下一次你想继续聊同一个话题，得把前面聊过的内容再说一遍——AI 自己不记事儿。 这就是为什么后面还需要别的东西来帮忙：让 AI 自动拿到背景信息（上下文工程，Context Engineering——帮 AI 自动收集和管理每次对话所需的背景资料
约 1 分钟318 字 - Ch12 Prompt工程
第12章 · 提示词工程
提示词就是你跟 AI 说话时，你输入的那段话。 比如： - "帮我写一封道歉信" - 这段话就是提示词 - "把这句话翻译成英文：今天天气真好" - 这段话就是提示词 - "用三句话总结这篇文章的要点" + 贴上文章 - 这段话加文章都是提示词 不需要写代码。不需要懂编程。你说人
约 2 分钟687 字