索引 / 标签
#对齐算法
共 2 篇
- Ch11 模型微调
概念-ORPO
ORPO（Odds Ratio Preference Optimization，优势比偏好优化）是2024年提出的突破性对齐算法，由韩国KAIST团队开发。ORPO的核心创新在于：将SFT（Supervised Fine-Tuning）和偏好对齐合并为单一训练步骤，无需单独的奖励
约 3 分钟1,081 字 - Ch11 模型微调
概念-SimPO
SimPO（Simple Preference Optimization，简化偏好优化）是2024年由普林斯顿大学等机构提出的对齐算法。SimPO的核心理念是极简主义：将偏好优化简化为两个关键要素——使用平均对数概率作为奖励（而非参考模型比较），以及引入目标奖励边际（target
约 4 分钟1,172 字