索引 / 标签
#深度学习
共 45 篇
- Ch06 神经网络基础
- Ch09 Transformer
概念-自注意力机制详解
自注意力机制（Self-Attention）让序列中的每个词都能"看到"所有其他词，直接计算任意两个词之间的关联强度——这是 Transformer 超越 RNN 的核心武器。
约 1 分钟404 字 - Ch04 机器学习
迁移学习 (Transfer Learning)
在任务A上学到的知识迁移到任务B——AI时代的"举一反三"。你不需要从零开始教模型识别猫,只需要在已经理解"毛茸茸四条腿"的模型上微调即可。
约 4 分钟1,295 字 - Ch05 评估与特征工程
归一化 (Normalization)
把不同尺度的数据缩放到同一范围,消除量纲影响——让"身高(150-190cm)"和"体重(40-120kg)"和"年龄(0-100岁)"这三个特征在同一个尺度上"对话",而不是让某一维主导模型学习。
约 4 分钟1,220 字 - Ch05 评估与特征工程
数据增强 (Data Augmentation)
概述 数据增强（Data Augmentation）是一种通过人工方式扩充训练数据的技术，通过对原始数据施加各种保持语义的变换（Transformations），生成新的、多样化的训练样本。它
约 6 分钟2,070 字 - Ch05 评估与特征工程
正则化 (Regularization)
正则化是机器学习中用于防止模型过拟合的一类技术统称。其核心思想是在模型训练过程中引入额外的约束或惩罚，迫使模型在拟合训练数据与保持简洁之间取得平衡。正则化遵循奥卡姆剃刀原则 (Occam's Razor)：在拟合能力相当的情况下，更简单的模型具有更好的泛化性能。 数学框架 正则化
约 5 分钟1,569 字 - Ch05 评估与特征工程
过拟合与欠拟合 (Overfitting & Underfitting)
过拟合 = 死记硬背训练数据,泛化能力差; 欠拟合 = 连训练数据都没学好,模型能力不足。两者都是模型学习失败的表现,需要不同的策略应对。
约 4 分钟1,349 字 - Ch06 神经网络基础
Embedding (嵌入 / 向量表示)
Embedding（嵌入）是机器学习中将离散对象（词、句子、文档、图像、用户、商品等）映射到连续稠密向量空间的技术。与传统的 One-Hot 编码（高维稀疏）不同，Embedding 将对象表示为低维稠密向量（通常 128-4096 维），向量之间的距离和方向蕴含了语义信息。Em
约 3 分钟1,089 字 - Ch06 神经网络基础
GELU (Gaussian Error Linear Unit)
GELU（Gaussian Error Linear Unit）是一种平滑的激活函数，由 Dan Hendrycks 和 Kevin Gimpel 于 2016 年提出。GELU 是 ReLU 的平滑近似版本，结合了 ReLU 的线性特性和 Dropout 的正则化思想，通过输入
约 3 分钟938 字 - Ch06 神经网络基础
Leaky ReLU 与 ReLU 变体家族
ReLU (Rectified Linear Unit) 是深度学习中最常用的激活函数，但它有一个著名缺陷："死亡神经元" (Dying ReLU) 问题——当神经元输出恒为负值时，梯度永远为 0，该神经元就"死了"，再也不会被激活。为了解决这个问题，研究者提出了多种 ReLU
约 2 分钟767 字 - Ch06 神经网络基础
ReLU 与激活函数 (Activation Functions)
激活函数给神经网络注入非线性——没有它，一万层网络也只等价于一层线性变换。ReLU 凭"简单粗暴"统治了十年，GELU 凭"平滑优雅"成为 Transformer 标配。
约 5 分钟1,459 字 - Ch06 神经网络基础
- Ch06 神经网络基础
- Ch06 神经网络基础
学习率 (Learning Rate)
概述 学习率（Learning Rate, LR）是深度学习优化中最重要的超参数，没有之一。它控制着模型参数每次更新的步长大小，直接决定了模型能否收敛、收敛速度有多快、以及最终能达到的性能水平
约 5 分钟1,611 字 - Ch06 神经网络基础
批归一化 (Batch Normalization) 与归一化家族
批归一化（Batch Normalization，BN）由 Sergey Ioffe 和 Christian Szegedy 于 2015 年提出，是深度学习训练中的一项里程碑式技术。BN 通过对每个 mini-batch 的激活值进行归一化（均值为 0，方差为 1），然后进行可
约 3 分钟1,077 字 - Ch06 神经网络基础
损失函数 (Loss Function)
损失函数是机器学习中衡量模型预测值与真实值之间差异的数学函数。模型训练的目标是最小化损失函数，使预测结果尽可能接近真实标签。损失函数的选择直接影响模型的收敛速度、最终精度和泛化能力。 核心概念 损失函数 L(y, \haty) 接受真实标签 y 和模型预测 \haty，输出一个非
约 4 分钟1,290 字 - Ch06 神经网络基础
梯度下降 (Gradient Descent)
梯度下降是神经网络训练的"导航系统"——沿着损失函数梯度的反方向走，每一步都让模型离最优解更近一点。2026 年，AdamW 是这个导航系统的默认选择。
约 4 分钟1,430 字 - Ch06 神经网络基础
梯度消失与梯度爆炸 (Vanishing/Exploding Gradient)
梯度消失（Vanishing Gradient）和梯度爆炸（Exploding Gradient）是深层神经网络训练中最根本的挑战之一。在反向传播（Backpropagation）过程中，梯度从输出层逐层向输入层传播。由于链式法则的连乘效应，梯度可能以指数级速度衰减（梯度消失）或
约 4 分钟1,145 字 - Ch06 神经网络基础
深度学习 (Deep Learning)
深度学习是机器学习的一个子领域——用多层神经网络从数据中自动学习"层次化表示"，不再需要人工设计特征。它是 2012 年以来 AI 革命的核心引擎。
约 5 分钟1,478 字 - Ch06 神经网络基础
激活函数 (Activation Functions)
激活函数（Activation Function）是神经网络中引入非线性的关键组件。如果没有激活函数，无论网络有多少层，整个模型都等价于一个线性变换（因为线性变换的复合仍是线性变换），无法拟合复杂的非线性函数。激活函数为每个神经元引入非线性变换，使神经网络具备通用近似能力（Uni
约 4 分钟1,129 字 - Ch07 CNN与CV
CNN 卷积神经网络 (Convolutional Neural Network)
CNN 是专门为图像设计的神经网络——通过卷积核扫描图像提取局部特征，通过池化压缩信息，通过多层堆叠从边缘到纹理到物体逐级抽象。它是计算机视觉过去十年的绝对统治者。
约 4 分钟1,379 字 - Ch07 CNN与CV
卷积核 (Convolution Kernel)
一句话理解 滑动窗口,在图像上扫描提取局部特征——卷积核是CNN的"眼睛",通过参数化的滤波器从图像中提取边缘、纹理、形状等特征。 零基础理解 想象你用手电筒照一张大图,每次只能看到手电筒光圈
约 4 分钟1,356 字 - Ch08 RNN序列模型
LSTM 长短期记忆网络 (Long Short-Term Memory)
LSTM 是 RNN 的升级版——通过三个门(遗忘门、输入门、输出门)和一个细胞状态，解决了简单 RNN 记不住长距离信息的问题。
约 4 分钟1,242 字 - Ch09 Transformer
Transformer 架构
Transformer 是由 Vaswani 等人在 2017 年论文 "Attention Is All You Need" 中提出的神经网络架构。它完全基于注意力机制（Attention Mechanism），摒弃了传统的循环（RNN）和卷积（CNN）结构。Transform
约 3 分钟920 字 - Ch09 Transformer
- Ch09 Transformer
深挖-ViT (Vision Transformer)
一句话理解 把图像切成固定大小的 patch，每个 patch 当作一个 token，直接送入标准 Transformer Encoder 进行分类——全程不使用卷积操作，打破了 CNN 在计
约 8 分钟2,448 字 - Ch13 RAG
Bi-Encoder (双塔模型/双编码器)
概述 Bi-Encoder (双编码器) 是一种双塔架构的神经网络模型，核心思想是将两个输入 (如 Query 和 Document、User 和 Item) 分别通过独立的编码器编码为向量表
约 3 分钟892 字 - Ch09 Transformer
9.1 为什么需要 Transformer — RNN 的困境
9.1.0 生活比喻：流水线工人 vs 全体同时阅读 想象一个翻译团队处理一篇 100 页的文件。RNN 模式：只有一个人工作，他从第 1 页逐页读到第 100 页。读到第 50 页时，他对第
约 6 分钟1,929 字 - Ch09 Transformer
9.10 动手实现 Self-Attention
9.10.1 PyTorch 实现：缩放点积注意力 9.10.2 从头实现 Mini-Transformer 的步骤 完整的 Transformer 解码器块的实现： 9.10.3 关键调试技
约 1 分钟445 字 - Ch09 Transformer
9.2 自注意力机制 — 深度拆解
公式可跳过：下面出现的数学公式可以直接跳过，看后面的文字解释也能理解自注意力的核心思想。 核心公式： 9.2.1 Query/Key/Value 的直觉：图书馆检索 理解 Q/K/V 最好的比
约 5 分钟1,714 字 - Ch09 Transformer
- Ch09 Transformer
9.4 位置编码 — Transformer 的"序列感知"
9.4.1 为什么需要位置编码 自注意力机制有一个根本性的"盲区"：它是置换不变的（permutation invariant）。如果你把输入序列中的词任意打乱，自注意力的输出（在置换意义下）
约 4 分钟1,309 字 - Ch09 Transformer
9.5 前馈网络（FFN）— Transformer 的"知识存储"
9.5.1 FFN 的双重身份 每个 Transformer 层的 FFN 形式为： 其中 W1 ∈ R^dmodel × dff，W2 ∈ R^dff × dmodel，通常 dff = 4
约 1 分钟401 字 - Ch09 Transformer
9.6 残差连接与层归一化
想象你在修改一份合同。每次修改时，你拿到上一轮的版本（输入 x），在上面用红笔批注修改（SubLayer(x)），然后把原件和批注版本并排存档。下一轮修改时，审阅的人可以同时看到原件和最新批注——原件是一条"直达通道"，不管中间加了多复杂的批注，原始信息始终可追溯。
约 6 分钟1,937 字 - Ch09 Transformer
9.7 完整编码器-解码器架构
9.7.1 生活比喻：翻译员的工作流程 一个专业的翻译员工作时，脑子里同时运行两个阶段： 编码阶段：通读原文，理解全部意思。他可以在段落之间来回跳跃，用后文的信息帮助理解前文（比如看到"他"才
约 6 分钟1,811 字 - Ch09 Transformer
9.8 Decoder-Only -- 为什么 LLM 只用解码器
- Encoder-Only（BERT 系）相当于一个校对员。他拿到完整的文章，可以从头到尾反复阅读，前后对照，找出错别字或标记关键信息。但他不会自己写新文章。 - Encoder-Decoder（T5 系）相当于一个翻译员。他先通读原文（编码），理解全部意思，然后逐句翻译（解码
约 6 分钟1,893 字 - Ch09 Transformer
9.9 2026 Transformer 进化
9.9.1 GQA：分组查询注意力 标准多头注意力（MHA）中，每个头有独立的 Q、K、V。推理时，每生成一个新 token，需要存储所有历史 token 的 K 和 V（KV 缓存），避免重
约 3 分钟996 字 - Ch09 Transformer
第9章 · Transformer 架构精讲
Transformer 是现代 AI 的基石。从 2017 年的论文到 2026 年的每一款大模型，核心架构没变，但每个组件都被反复优化过。本章讲原理，不讲推导。第 10 章讲 LLM 层面的
约 3 分钟1,006 字 - Ch19 多模态深度原理
19.1 CLIP：怎么让 AI 看懂图
CLIP（Contrastive Language-Image Pre-training）是 OpenAI 2021 年发布的模型 ^Radford et al., "Learning Transferable Visual Models from Natural Languag
约 1 分钟461 字 - Ch19 多模态深度原理
19.2 扩散模型：怎么从文字生成图
扩散模型（Diffusion Model）的思路：先去噪，再生成。 正向扩散（训练阶段）：拿一张清晰的图片，逐步加噪声。加 1 步——轻微模糊。加 10 步——中度噪声。加 1000 步——完全变成纯噪声。模型学习"每一步加了多少噪声"。 反向扩散（生成阶段）：从纯噪声开始，逐步
约 1 分钟372 字 - Ch19 多模态深度原理
19.3 ViT：Transformer 怎么看图
概念：把图片当成"句子"来读 ViT（Vision Transformer，视觉 Transformer）是 Google 研究团队 2020 年提出的架构，核心思想一句话就能说清楚：把一张图
约 7 分钟2,274 字 - Ch19 多模态深度原理
19.4 Whisper架构详解
Whisper是OpenAI开源的语音识别模型，2022年发布，2026年已迭代到v4版本。它把语音识别做成了"翻译任务"——输入音频，输出文字。 架构：编码器-解码器 - 编码器：音频切成30秒的片段，每个片段转成80维的梅尔频谱图（一种模拟人耳听觉特性的音频表示——低频给更多
约 1 分钟472 字 - Ch19 多模态深度原理
19.5 TTS技术演进
TTS（Text-to-Speech，文字转语音）经历了六代演进，每一代解决一个核心问题： - Tacotron（2017）：第一代端到端TTS。输入文字，输出梅尔频谱图，再用WaveNet声码器把频谱图转成波形。效果突破——不再像机器人，但推理很慢（生成1秒音频需要几秒）。 -
约 1 分钟434 字 - Ch19 多模态深度原理
19.6 2026年语音AI应用
语音AI在2026年已经从"能用"进化到"好用"，四大应用场景： 实时翻译：Whisper v4 + 大语言模型翻译 + 多语言TTS，实现了"你说中文，对方听到英文，延迟小于2秒"。Meta的SeamlessM4T和Google的Universal Translator都在这个
约 1 分钟334 字 - Ch19 多模态深度原理
第19章 · 多模态深度原理
Ch17 多模态 AI 介绍了多模态是什么、能干什么。这篇深入三种核心技术：CLIP（图文对齐）、扩散模型（图像生成）、ViT（视觉 Transformer——把 Transformer 架构用在图像上，和 CNN 用卷积核逐层扫描不同，ViT 直接把图切成小块当 token 处
约 2 分钟681 字