索引 / 标签
#DPO
共 3 篇
- Ch11 模型微调
11.5 DPO与偏好对齐
SFT（监督微调，详见第11.6节）教会了模型"怎么回答"。但会回答，不等于回答得好。 想象你在教一个学徒做菜。SFT阶段，你给了他100本菜谱，他学会了每道菜的标准做法——油温多少、调料多少、翻炒几分钟。现在你让他做一盘鱼香肉丝，他做出来了，步骤完全正确。但你又让他做第二遍，说
约 18 分钟5,758 字 - Ch11 模型微调
GRPO (Group Relative Policy Optimization)
一句话理解 DeepSeek-R1使用的对齐方法——对同一个问题生成一组回答,好的奖励差的惩罚,组内相互比较,不需要单独的奖励模型。像"小组内排名"而不是"老师打分"。 为什么需要GRPO:
约 4 分钟1,329 字 - Ch11 模型微调
模型训练管线
一句话理解 2026 年完整的模型训练管线包括：预训练 (Pre-training) → 监督微调 (SFT) → 偏好对齐 (DPO/RLHF) → 强化学习进阶 (GRPO) → 模型合并
约 5 分钟1,711 字