索引 / 标签
#神经网络
共 17 篇
- Ch06 神经网络基础
Leaky ReLU 与 ReLU 变体家族
ReLU (Rectified Linear Unit) 是深度学习中最常用的激活函数，但它有一个著名缺陷："死亡神经元" (Dying ReLU) 问题——当神经元输出恒为负值时，梯度永远为 0，该神经元就"死了"，再也不会被激活。为了解决这个问题，研究者提出了多种 ReLU
约 2 分钟767 字 - Ch06 神经网络基础
ReLU 与激活函数 (Activation Functions)
激活函数给神经网络注入非线性——没有它，一万层网络也只等价于一层线性变换。ReLU 凭"简单粗暴"统治了十年，GELU 凭"平滑优雅"成为 Transformer 标配。
约 5 分钟1,459 字 - Ch06 神经网络基础
深度学习 (Deep Learning)
深度学习是机器学习的一个子领域——用多层神经网络从数据中自动学习"层次化表示"，不再需要人工设计特征。它是 2012 年以来 AI 革命的核心引擎。
约 5 分钟1,478 字 - Ch06 神经网络基础
激活函数 (Activation Functions)
激活函数（Activation Function）是神经网络中引入非线性的关键组件。如果没有激活函数，无论网络有多少层，整个模型都等价于一个线性变换（因为线性变换的复合仍是线性变换），无法拟合复杂的非线性函数。激活函数为每个神经元引入非线性变换，使神经网络具备通用近似能力（Uni
约 4 分钟1,129 字 - Ch06 神经网络基础
6.1 感知机：神经网络的原子
一个感知机（Perceptron）就是"加权求和 + 激活"。在老教材里，这整个体系叫 ANN（人工神经网络），但现在大家直接叫"神经网络"或"深度学习"。本文用"神经网络"。
约 5 分钟1,519 字 - Ch06 神经网络基础
6.10 反向传播：怎么让模型变好
前向传播算出预测，损失函数给出分数——接下来，怎么让分数变小？答案就是反向传播（Backpropagation），它是让神经网络"学会"的核心算法。
约 4 分钟1,185 字 - Ch06 神经网络基础
6.11 学习率调度的艺术
学习率（Learning Rate, LR）是训练神经网络最重要的超参数之一。它决定了每一步参数更新的幅度：太大，跳过最优点甚至发散；太小，训练慢得像蜗牛。学习率调度（LR Schedule）就是让学习率在训练过程中动态变化，在不同阶段使用不同的步长。 6.11.1 从常数到余弦
约 2 分钟772 字 - Ch06 神经网络基础
6.12 2026年：从零手写神经网络还有意义吗
今天的AI生态和2015年已经完全不同。一个现实的问题摆在每个学习者面前：该投入多少精力学"从零搭建神经网络"？ 6.12.1 三种需求层次 层级一：调用API 你只需要知道怎么发HTTP请求，把prompt送进去，把结果拿回来。不需要理解模型内部结构。适合做产品开发、业务集成的
约 3 分钟839 字 - Ch06 神经网络基础
6.2 层：感知机的堆叠
神经网络是分层的。每一层有很多个神经元（感知机），前一层的输出是后一层的输入。 输入层（接收数据）- 隐藏层（做计算）- 输出层（给结果）。 一个词向量（768 个数字）进入 Transformer（一种用自注意力取代逐字阅读的神经网络架构——它让每个词同时看到句子里所有其他词，
约 1 分钟218 字 - Ch06 神经网络基础
6.3 神经网络为什么有效
神经网络的核心能力来自两个机制：表示学习和层级抽象。 6.3.1 表示学习：让机器自己找特征 传统机器学习需要人工设计特征——比如识别猫，你得手工定义"耳朵是三角形的、眼睛位置、毛色分布"。一个特征工程可能要花几个月，换个任务（从猫换成狗）又得重新设计。 神经网络的做法完全不同：
约 2 分钟663 字 - Ch06 神经网络基础
6.4 激活函数：为什么不能全用线性
如果不用激活函数，不管堆多少层，整个网络还是线性的——只能画直线。真实世界不是直线。 ReLU（Rectified Linear Unit）：f(x) = max(0, x)——正数就原样输出，负数就输出 0。简单到不像话，但效果极好。2012 年 AlexNet 第一个大规模使
约 1 分钟331 字 - Ch06 神经网络基础
6.5 常见激活函数深入
前面介绍了四种激活函数的基本形态，这里深入讲几个关键细节。 6.5.1 ReLU的死亡神经元问题 ReLU的公式 f(x) = max(0, x) 有一个致命缺陷：一旦某个神经元的所有输入都让它输出0（即加权和+bias为负），该神经元的梯度就永远是0——梯度为0意味着参数不再更
约 2 分钟577 字 - Ch06 神经网络基础
6.6 归一化层：BatchNorm 与 LayerNorm
神经网络训练中，每一层的输出分布会随着参数更新不断变化——深层网络里，前面层参数的微小变化会被后面层放大，导致训练不稳定。这个现象叫"内部协变量偏移"（Internal Covariate Shift）。归一化层的核心思想很简单：把每一层的输出重新拉回均值为0、方差为1的标准分布
约 3 分钟889 字 - Ch06 神经网络基础
6.7 权重初始化
6.7.1 为什么初始化这么重要 训练神经网络的本质是用梯度下降在参数空间中寻找最优点。初始参数的位置决定了： - 收敛速度：初始点离最优点近，几步就到了；离得远，可能要跑几万步 - 能否收敛
约 3 分钟862 字 - Ch06 神经网络基础
6.8 前向传播：从输入到输出
前向传播（Forward Propagation）是神经网络"用"的过程——输入数据一层层往前走，每层做矩阵乘法加激活函数，最终输出一个结果。你每次用 ChatGPT 回答问题，它内部做的就是这件事。
约 3 分钟1,016 字 - Ch06 神经网络基础
6.9 损失函数：衡量模型多差
前向传播给出了预测，但这个预测和标准答案有多大的差距？损失函数（Loss Function）就是量化这个差距的"打分员"。训练神经网络，本质上就是在不断地让这个分数变小。
约 3 分钟1,018 字 - Ch06 神经网络基础
第6章 · 神经网络基础
你已经用了很多 AI，但还不知道它"长什么样"。神经网络就是 AI 的物理形态——一堆数字经过一层层变换，从输入走到输出。这篇用最简单的语言解释这个过程。 生活比喻：神经网络像一条流水线——原材料（输入数据）经过一道道工序（层），每道工序做一点加工（加权求和），质检员（激活函数）
约 2 分钟767 字