1.3 第三次浪潮：深度学习（2012--至今）

2012 年，AlexNet 在 ImageNet 图像识别比赛中碾压所有传统方法，错误率从前一年的 26% 降到 16%。不是算法新（卷积神经网络 1998 年就有了），而是三条曲线交汇了：大数据（ImageNet 有 120 万张标注图片）+ 大算力（GPU 开始普及）+ 老算法（CNN 终于等到了足够的数据和算力）。

从那之后，深度学习的进展是沿着三条线加速的：

• 更深的网络：8 层（AlexNet, 2012）→ 152 层（ResNet, 2015）→ 96 层 Transformer（GPT-3, 2020）
• 更大的数据：ImageNet（100 万）→ 互联网文本（1000 亿 token）→ 全互联网（1 万亿+ token）
• 更多的算力：1 GPU → 1000 GPU → 10000 GPU 集群

token（词元） 是 AI 处理文本的最小单位——一个 token 大约等于 0.75 个汉字或英文单词的一部分。比如”人工智能”会被切成两个 token：“人工”和”智能”。这本书后面的每一章都会反复遇到这个词，因为 AI 的一切——输入、输出、计费、上下文窗口——都以 token 为单位。

---

← 上一节：1.2 第二次浪潮：连接主义的兴起与寒冬（1986--2012） ｜ 下一节：1.4 关键人物 →