模型训练管线

一句话理解

2026 年完整的模型训练管线包括：预训练 (Pre-training) → 监督微调 (SFT) → 偏好对齐 (DPO/RLHF) → 强化学习进阶 (GRPO) → 模型合并 (Model Merging)。这条管线从”让模型学会语言”到”让模型学会有用”，再到”让模型学会安全”，最后到”让模型学会推理”——每一步都有明确的目标、数据需求和计算成本。

管线全景

阶段	目标	数据需求	计算成本	典型方法	2026年状态
预训练	学会语言、知识和推理	海量文本（TB级）	极高（千卡-万卡GPU集群）	Next Token Prediction	基础能力，少数大厂自研
SFT	学会遵循指令	高质量指令-回复对（万-十万级）	中等（数卡-数十卡）	监督学习	必备步骤，几乎所有模型都做
RLHF	学会人类偏好	人类偏好对比数据（万级）	较高（训练奖励模型+PPO）	PPO + 奖励模型	逐渐被 DPO 取代
DPO	学会人类偏好（更简单）	与 RLHF 相同	中等	直接偏好优化	2024-2026年主流
GRPO	学会推理和自我验证	可验证问题（数学、代码）	较高	分组相对策略优化	2025-2026年新趋势
模型合并	组合多个模型的能力	无需训练数据	极低	TIES, DARE, SLERP	2025-2026年实验性技术

各阶段详解

预训练 (Pre-training)

目标：让模型学会语言结构、世界知识和基础推理能力。

过程：在海量文本数据上进行 Next Token Prediction（预测下一个词），模型通过这个简单的任务学习到语言的深层结构。

数据来源：

Common Crawl 网页数据
书籍、论文、代码库
Wikipedia、Stack Exchange 等高质量来源
2026年趋势：合成数据占比上升

计算成本：

7B 模型：约 100-200 卡 GPU，数周
70B 模型：约 1000-2000 卡 GPU，数周
400B+ 模型：数千-万卡 GPU 集群，数月

2026年趋势：只有少数大厂和顶级 AI 实验室自研预训练，大多数人使用开源预训练模型作为起点。

监督微调 (SFT, Supervised Fine-Tuning)

目标：让模型学会”遵循指令”——理解用户意图并给出有用、格式正确的回答。

过程：使用高质量的”指令-回复”对进行监督学习。模型学习将用户的各种提问方式映射到高质量的回复。

数据需求：

数量：1万-10万条高质量指令-回复对
质量 > 数量：一条高质量数据胜过十条低质量数据
多样性：覆盖不同领域、不同格式、不同难度

关键技术：

数据清洗和去重
格式标准化（ChatML、ShareGPT 格式等）
多轮对话数据构建

计算成本：

7B 模型全量微调：4-8 卡 A100/H100，数小时
7B 模型 LoRA 微调：1-2 卡，数小时
70B 模型全量微调：数十卡，1-2 天

RLHF (Reinforcement Learning from Human Feedback)

目标：让模型的输出符合人类偏好——更有用、更诚实、更安全。

过程：

训练奖励模型 (Reward Model)：基于人类偏好对比数据（A 回复比 B 回复更好）
使用 PPO (Proximal Policy Optimization) 算法，以奖励模型为指导优化语言模型

为什么逐渐被 DPO 取代：

RLHF 需要训练和维护一个独立的奖励模型
PPO 训练不稳定，需要大量调参
奖励模型可能被”黑客”（reward hacking）
DPO 直接优化偏好，不需要奖励模型，更简单稳定

DPO (Direct Preference Optimization)

目标：与 RLHF 相同——让模型输出符合人类偏好，但方法更简单直接。

核心创新：不需要训练奖励模型，直接从偏好数据中优化模型。DPO 将偏好优化转化为一个简单的分类问题：对于一对回复（好的 vs 差的），模型直接学习提高好回复的概率、降低差回复的概率。

对比 RLHF：

维度	RLHF	DPO
需要奖励模型	是（独立训练）	否
训练稳定性	较低（PPO 调参困难）	较高（简单分类目标）
计算成本	高（奖励模型+PPO）	中等（直接优化）
偏好数据需求	相同	相同
效果	稳定但复杂	同等或更好
2026年主流程度	下降中	主流选择

GRPO (Group Relative Policy Optimization)

目标：提升模型的推理能力——特别是数学、代码、逻辑推理等可验证的领域。

核心创新：

对每个问题生成一组回答（Group），而非单个回答
在组内比较回答质量，使用相对奖励（Relative）而非绝对奖励
奖励可以来自可验证的结果（如数学答案是否正确）而非人类偏好

为什么是 2025-2026 新趋势：

DeepSeek-R1（2025年1月）证明了纯强化学习可以显著提升推理能力
GRPO 不需要人类偏好数据，只需要可验证的答案（数学题、代码测试）
推理能力是 2026 年模型竞争的核心战场
GRPO + 工具使用（如代码执行验证）形成正反馈循环

适用场景：

数学推理（答案可验证）
代码生成（测试用例可验证）
逻辑推理（结论可验证）
科学推理（计算可验证）

模型合并 (Model Merging)

目标：将多个 fine-tuned 模型的权重合并，组合不同模型的能力，无需额外训练。

核心技术：

TIES (Trim, Elect, Merge)：消除参数冲突，智能合并
DARE (Drop And REscale)：随机丢弃大部分 delta 参数后再合并
SLERP (Spherical Linear Interpolation)：球面线性插值，保护模型结构
Linear Merge：最简单的方法，直接加权平均

2026年状态：实验性技术，效果不稳定，但无需训练成本，社区活跃探索。

管线选择决策树

需要训练模型？
├── 需要从零开始？
│   └── 预训练（极少场景）
├── 有预训练模型，需要遵循指令？
│   └── SFT（必备步骤）
├── 需要对齐人类偏好？
│   ├── 有预算训练奖励模型？
│   │   └── RLHF（推荐 DPO 替代）
│   └── 想简单直接？
│       └── DPO（推荐）
├── 需要提升推理能力？
│   ├── 有可验证的数据（数学/代码）？
│   │   └── GRPO（推荐）
│   └── 无可验证数据？
│       └── SFT + DPO 组合
└── 想组合多个模型的能力？
    └── 模型合并（实验性）

常见管线组合

场景	推荐管线	说明
通用聊天模型	预训练 → SFT → DPO	2026年最主流管线
推理增强模型	预训练 → SFT → DPO → GRPO	DeepSeek-R1 路线
代码模型	预训练 → SFT (代码) → GRPO	代码生成+测试验证
领域模型（医疗/法律）	预训练 → 领域继续预训练 → SFT → DPO	先注入领域知识再对齐
多能力组合	分别训练 → 模型合并	实验性，效果不稳定

来源

DPO 论文: https://arxiv.org/abs/2305.18290 (Rafailov et al., 2023)
DeepSeek-R1 论文: https://arxiv.org/abs/2501.12948 (DeepSeek, 2025)
GRPO 论文: https://arxiv.org/abs/2402.03300 (Shih et al., 2024)
TIES 模型合并: https://arxiv.org/abs/2306.01708
DARE 模型合并: https://arxiv.org/abs/2311.03099
HuggingFace 模型合并指南: https://huggingface.co/blog/mlabonne/merge-models