索引 / 标签
#偏好对齐
共 6 篇
- Ch11 模型微调
- Ch11 模型微调
概念-RLHF
RLHF（Reinforcement Learning from Human Feedback）是用人类偏好来训练 AI 的方法：先让人类对 AI 的多个回答打分，再训练一个"奖励模型"来模拟人类的打分标准，最后用强化学习让 AI 往高分方向优化。
约 1 分钟369 字 - Ch11 模型微调
11.5 DPO与偏好对齐
SFT（监督微调，详见第11.6节）教会了模型"怎么回答"。但会回答，不等于回答得好。 想象你在教一个学徒做菜。SFT阶段，你给了他100本菜谱，他学会了每道菜的标准做法——油温多少、调料多少、翻炒几分钟。现在你让他做一盘鱼香肉丝，他做出来了，步骤完全正确。但你又让他做第二遍，说
约 18 分钟5,758 字 - Ch11 模型微调
GRPO (Group Relative Policy Optimization)
一句话理解 DeepSeek-R1使用的对齐方法——对同一个问题生成一组回答,好的奖励差的惩罚,组内相互比较,不需要单独的奖励模型。像"小组内排名"而不是"老师打分"。 为什么需要GRPO:
约 4 分钟1,329 字 - Ch11 模型微调
概念-ORPO
ORPO（Odds Ratio Preference Optimization，优势比偏好优化）是2024年提出的突破性对齐算法，由韩国KAIST团队开发。ORPO的核心创新在于：将SFT（Supervised Fine-Tuning）和偏好对齐合并为单一训练步骤，无需单独的奖励
约 3 分钟1,081 字 - Ch11 模型微调
概念-SimPO
SimPO（Simple Preference Optimization，简化偏好优化）是2024年由普林斯顿大学等机构提出的对齐算法。SimPO的核心理念是极简主义：将偏好优化简化为两个关键要素——使用平均对数概率作为奖励（而非参考模型比较），以及引入目标奖励边际（target
约 4 分钟1,172 字