6.3 神经网络为什么有效

神经网络的核心能力来自两个机制：表示学习和层级抽象。

6.3.1 表示学习：让机器自己找特征

传统机器学习需要人工设计特征——比如识别猫，你得手工定义”耳朵是三角形的、眼睛位置、毛色分布”。一个特征工程可能要花几个月，换个任务（从猫换成狗）又得重新设计。

神经网络的做法完全不同：你只喂原始数据（像素），它自己从数据中学出有用的特征。这就是”表示学习”（Representation Learning）——网络不再被动接收人类设计的特征，而是主动构造对当前任务最优的内部表示。

具体来说，每一层都在学习一种”表示”。输入是一张 224x224 的猫图，经过第一层后变成一组边缘检测图，经过第五层变成纹理图案，经过第十层变成”猫耳朵”、“猫眼睛”这样的语义部件。整个过程没有人类告诉它”这是耳朵”——它是从几百万张图片中自己归纳出来的。

6.3.2 层级抽象：从边缘到语义

这是一个用图像识别任务说明层级抽象的经典例子，训练目标是识别图片中的物体类别：

graph TD
    subgraph 底层1-3层
        E1[边缘检测器<br/>水平/垂直/斜线]
        E2[颜色对比<br/>明暗边界]
    end
    subgraph 中层4-7层
        T1[纹理组合<br/>条纹/斑点/网格]
        T2[局部形状<br/>圆形/拐角/弧线]
    end
    subgraph 高层8-12层
        P1[物体部件<br/>猫耳/车轮/窗户]
        P2[部件组合<br/>猫脸/车身/建筑立面]
    end
    subgraph 顶层13层+
        S1[完整语义<br/>"猫" / "汽车" / "房子"]
    end
    E1 --> T1
    E2 --> T1
    E2 --> T2
    T1 --> P1
    T2 --> P1
    T2 --> P2
    P1 --> S1
    P2 --> S1

这解释了为什么深度很重要。浅层网络（3-5层）只能学到边缘和简单纹理，做不了复杂识别。深层网络（50-100+层）才能从边缘一路抽象到语义。这也是为什么2012年AlexNet（8层）已经是当时最深的网络，而2026年的模型动辄几十上百层——深度决定了抽象的层次。

同样的层级抽象也发生在LLM中。Transformer的底层学会词性、语法结构，中层学会句法关系、实体指代，高层学会语义推理、逻辑连贯。这也是为什么浅层Transformer（如6层的BERT-small）只能做简单分类，而96层的GPT-4能做复杂推理。

← 上一节：6.2 层：感知机的堆叠 ｜ 下一节：6.4 激活函数：为什么不能全用线性 →