迁移学习 (Transfer Learning)

一句话理解

在任务A上学到的知识迁移到任务B——AI时代的”举一反三”。你不需要从零开始教模型识别猫,只需要在已经理解”毛茸茸四条腿”的模型上微调即可。

为什么要迁移学习

核心矛盾

问题	深度学习的现实	迁移学习的解决方案
数据需求	需要海量标注数据	预训练模型已在海量数据上训练
训练成本	训练大模型需要数百万美元	微调只需几百到几千美元
泛化能力	从零训练容易过拟合	预训练特征具有更好的泛化性
时间	训练需要数周/数月	微调只需数小时/数天

为什么迁移学习有效: 底层特征通用性

神经网络学习到的特征具有层级性,而底层特征(边缘、纹理、语法结构)在大多数任务中是通用的:

特征层级	CV	NLP	是否通用
底层	边缘、颜色、纹理	字符/词嵌入、POS标注	高度通用
中层	形状、局部模式	短语结构、命名实体	部分通用
高层	物体部件、语义概念	语义理解、推理	任务特定

核心范式: 预训练 → 微调

标准流程

大规模通用数据(ImageNet, CommonCrawl, ...)
        ↓
[预训练 Pretraining]
  目标: 学习通用特征表示
  成本: 高(一次性)
        ↓
    预训练模型
        ↓
特定任务的小规模标注数据
        ↓
[微调 Finetuning]
  目标: 适配特定任务
  成本: 低(按需)
        ↓
    任务特定模型

微调策略对比

策略	做法	优点	缺点	适用场景
全量微调 (Full Fine-tuning)	更新所有参数	性能最好	成本高,每任务一份模型	数据充足,追求极致性能
冻结主干 (Frozen Backbone)	只训练分类头	最快,防过拟合	性能可能不足	数据极少,快速原型
逐层解冻 (Progressive Unfreezing)	从顶层开始逐层解冻	平衡性能与效率	实现复杂	中等数据量
参数高效微调 (PEFT)	只训练少量额外参数	极高效率,多任务复用	性能略低于全量微调	2026年主流做法

参数高效微调 (PEFT) 方法对比

方法	可训练参数	原理	推理开销	代表应用
Adapter	~1-5%	在层间插入小型可训练模块	有(微小)	早期PEFT
LoRA	~0.1-1%	低秩矩阵分解权重更新	可合并(无)	LLaMA微调最流行方案
QLoRA	~0.1-1%	LoRA + 4-bit量化	可合并	消费级GPU微调70B模型
Prefix Tuning	<1%	在输入前添加可训练虚拟token	有(占据上下文)	生成任务
Prompt Tuning	<0.01%	仅训练软提示向量	有(占据上下文)	超大规模模型
IA3	<0.01%	缩放向量	可合并	T5等Encoder-Decoder

CV中的迁移学习

ImageNet预训练范式

阶段	任务	数据	目标
预训练	ImageNet分类(1000类)	120万张图	学习通用视觉特征
微调	目标检测/分割/分类	几百到几千张图	适配特定任务

2026年趋势: CLIP/SigLIP/DINOv2等自监督/对比学习预训练模型正在取代ImageNet监督预训练,因为它们在更多下游任务上表现更好,尤其在小样本场景。

NLP中的迁移学习

从Word2Vec到GPT的演进

时代	代表模型	迁移方式	特点
2013-2017	Word2Vec, GloVe	静态词嵌入,作为特征输入	词级别,上下文无关
2018	ELMo, ULMFiT	预训练语言模型,微调	上下文相关,但单向
2018-2019	BERT, GPT	大规模预训练+微调	双向/自回归,革命性提升
2020-2023	GPT-3, T5	In-Context Learning	不需要微调,通过提示词适应
2024-2026	GPT-5.5, Claude-5	指令微调+RLHF+GRPO	对齐人类偏好,多任务泛化

2026年: 几乎所有AI应用都基于迁移学习

应用领域	预训练模型	微调方式
代码生成	Code-Llama, DeepSeek-Coder	LoRA + 代码库数据
医疗影像	MedSAM, BioMedCLIP	全量微调 + 领域数据
法律文书	通用LLM	LoRA + 法律语料
客服对话	通用LLM	指令微调 + 对话数据
语音识别	Whisper	LoRA + 领域音频
图像生成	Stable Diffusion	LoRA + 风格/角色图片

迁移学习 vs 从头训练

维度	从头训练 (From Scratch)	迁移学习 (Transfer Learning)
数据需求	海量(百万级)	少量(百/千级)
训练时间	数天到数周	数小时
计算成本	极高(GPU集群)	低(单GPU甚至CPU)
最终性能	理论上限更高	小数据场景远超从头训练
过拟合风险	高(小数据时)	低(预训练提供正则化)
2026年建议	仅极少数情况	默认首选

来源

Pan & Yang, “A Survey on Transfer Learning” (2010) — https://ieeexplore.ieee.org/document/5288526
Howard & Ruder, “Universal Language Model Fine-tuning for Text Classification” (ULMFiT, 2018) — https://arxiv.org/abs/1801.06146
Devlin et al., “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” (2018) — https://arxiv.org/abs/1810.04805
Hu et al., “LoRA: Low-Rank Adaptation of Large Language Models” (2021) — https://arxiv.org/abs/2106.09685
Dettmers et al., “QLoRA: Efficient Finetuning of Quantized Language Models” (2023) — https://arxiv.org/abs/2305.14314