索引 / 标签
#强化学习
共 3 篇
- Ch11 模型微调
概念-RLHF
RLHF（Reinforcement Learning from Human Feedback）是用人类偏好来训练 AI 的方法：先让人类对 AI 的多个回答打分，再训练一个"奖励模型"来模拟人类的打分标准，最后用强化学习让 AI 往高分方向优化。
约 1 分钟369 字 - Ch10 LLM架构
概念-RLAIF
RLAIF（Reinforcement Learning from AI Feedback，基于AI反馈的强化学习）是指用AI模型替代人类提供偏好信号或反馈，训练另一个AI模型的策略。相较于RLHF（Reinforcement Learning from Human Feedba
约 4 分钟1,220 字 - Ch11 模型微调
GRPO (Group Relative Policy Optimization)
一句话理解 DeepSeek-R1使用的对齐方法——对同一个问题生成一组回答,好的奖励差的惩罚,组内相互比较,不需要单独的奖励模型。像"小组内排名"而不是"老师打分"。 为什么需要GRPO:
约 4 分钟1,329 字