模型蒸馏（深挖）

第11章 · 模型微调 讲了怎么让模型学会新技能。模型量化（深挖） 讲了怎么让模型变小。但还有个更聪明的方法：让大模型当老师，教小模型。 这就是模型蒸馏。

为什么需要蒸馏

大模型（GPT-4 级别）效果好，但太贵太慢——没法在手机上跑。小模型（1B-7B 级别）快且便宜，但效果差很多。

蒸馏的思路：不是让小模型”自己从头学”，而是让大模型”把已经学会的东西教给小模型”。

就像一个大学教授（大模型）不直接去教小学生，而是写一本”核心知识点总结”——小学生读这本总结，就能学到大学知识的精华 ¹。

怎么蒸馏

经典蒸馏（Hinton, 2015）：

1. 大模型（Teacher）对每个输入输出一个”软标签”——不只是”猫”（硬标签），而是”猫 0.7、狗 0.2、老虎 0.1”（软标签）
2. 小模型（Student）不学”正确答案”，而是学”大模型觉得各个答案的概率分布”
3. 软标签包含的信息比硬标签多——大模型认为”猫”和”老虎”很接近（比较难区分），“猫”和”汽车”差异很大。这些”暗知识”小模型也能学到

现代蒸馏（2023-2026）：

不只是蒸馏”分类结果”，而是蒸馏”生成能力”。

• 数据蒸馏：大模型生成高质量训练数据（比如 100 万条问答对），小模型在这些数据上做 SFT
• 特征蒸馏：让小模型的中间层输出尽量接近大模型的中间层输出——不只是结果，连”思考过程”都要像
• 在线蒸馏：大模型和小模型同时训练，大模型实时指导小模型

著名蒸馏案例

Orca（微软，2023）：用 GPT-4 生成 100 万条”带推理过程的问答”——不只是问答对，而是”思考过程+最终答案”。用这些数据训练 13B 的 LLaMA，效果接近 GPT-3.5。

Gemma（Google，2024）：Google 从 Gemini 蒸馏出来的小模型系列。2B 和 7B 两个版本，继承了 Gemini 的多语言和推理能力。

DeepSeek-R1 蒸馏（2025）：DeepSeek 把 R1（671B）的推理能力蒸馏到 Qwen（7B）和 LLaMA（8B）上。这些”小 R1”保留了长链推理能力，可以在普通电脑上跑。

蒸馏 vs 量化 vs 从头训练

跟你有什么关系

你用的很多”免费 AI”可能不是”大模型”，而是”蒸馏出来的小模型”。比如你手机上跑的本地 AI——不是把一个 70B 模型塞进手机（量子化也塞不下），而是蒸馏了一个 1B 的小模型，继承了 70B 模型的知识精华。

如果你只有 7B 模型但想要 GPT-4 级别的效果——不是微调，是蒸馏。找 GPT-4 生成一批高质量数据，训练你的 7B 模型。

相关笔记

• 第11章 · 模型微调 — SFT 是蒸馏的一种形式（用大模型数据微调小模型）
• 模型量化（深挖） — 量化 + 蒸馏可以叠加（先蒸馏再量化）
• 第20章 · 模型推理部署 — 蒸馏后的小模型适合本地部署

来源

• Hinton et al., “Distilling the Knowledge in a Neural Network”, 2015, https://arxiv.org/abs/1503.02531
• Microsoft, “Orca”, 2023
• DeepSeek, “DeepSeek-R1”, 2025