索引 / 标签
#DoRA
共 2 篇
- Ch11 模型微调
11.7 2026年微调新趋势
一、概念：2026年的微调版图发生了什么变化 到2026年，大模型微调领域已经不再是"选LoRA还是选全量微调"的简单选择题。五个重要趋势正在重塑整个微调实践 -- 有些是方法层面的进化（Do
约 21 分钟6,651 字 - Ch11 模型微调
DoRA（Weight-Decomposed Low-Rank Adaptation）
一句话理解 DoRA 是 LoRA 的改进版，核心创新是将预训练权重分解为幅度（Magnitude）和方向（Direction）两部分，然后对方向部分应用 LoRA，对幅度部分单独调整，使微调
约 4 分钟1,335 字