索引 / 标签
#微调
共 33 篇
- Ch11 模型微调
- Ch11 模型微调
概念-RLHF
RLHF（Reinforcement Learning from Human Feedback）是用人类偏好来训练 AI 的方法：先让人类对 AI 的多个回答打分，再训练一个"奖励模型"来模拟人类的打分标准，最后用强化学习让 AI 往高分方向优化。
约 1 分钟369 字 - Ch11 模型微调
概念-SFT
SFT（Supervised Fine-Tuning，监督微调）是用高质量"问题-答案"对来训练模型，让它学会按指令回答——这是把"只会补全文本"的预训练模型变成"能听懂人话"的对话模型的关键一步。
约 1 分钟352 字 - Ch11 模型微调
11.2 全量微调与LoRA
全量微调（Full Fine-Tuning）是最传统、最彻底的微调方式：在预训练模型的基础上，用特定任务的数据集，更新模型的所有参数，使模型从"通用能力"转向"特定领域能力"。^Howard & Ruder, "Universal Language Model Fine-tuni
约 16 分钟5,153 字 - Ch11 模型微调
11.4 SFT：让模型学会"回答"而不是"续写"
想象你去图书馆读书。过去的三年，你每天从早到晚翻阅图书馆里所有的书——小说、论文、新闻、百科、代码、论坛帖子。你读完了相当于整个互联网的文字量。现在的你能续写任何一段文字的开头，能补全一首诗，能根据前文猜测接下来最可能出现的词。但有人突然问你："帮我写一封给客户的道歉邮件"，你愣
约 17 分钟5,449 字 - Ch11 模型微调
11.5 DPO与偏好对齐
SFT（监督微调，详见第11.6节）教会了模型"怎么回答"。但会回答，不等于回答得好。 想象你在教一个学徒做菜。SFT阶段，你给了他100本菜谱，他学会了每道菜的标准做法——油温多少、调料多少、翻炒几分钟。现在你让他做一盘鱼香肉丝，他做出来了，步骤完全正确。但你又让他做第二遍，说
约 18 分钟5,758 字 - Ch11 模型微调
11.7 2026年微调新趋势
一、概念：2026年的微调版图发生了什么变化 到2026年，大模型微调领域已经不再是"选LoRA还是选全量微调"的简单选择题。五个重要趋势正在重塑整个微调实践 -- 有些是方法层面的进化（Do
约 21 分钟6,651 字 - Ch04 机器学习
迁移学习 (Transfer Learning)
在任务A上学到的知识迁移到任务B——AI时代的"举一反三"。你不需要从零开始教模型识别猫,只需要在已经理解"毛茸茸四条腿"的模型上微调即可。
约 4 分钟1,295 字 - Ch11 模型微调
对比-LoRvsQLoRA
概述 LoRA（Low-Rank Adaptation）和 QLoRA（Quantized LoRA）都是参数高效微调（PEFT）方法，QLoRA 在 LoRA 基础上引入量化技术，大幅降低显
约 1 分钟447 字 - Ch11 模型微调
对比-SFTvsRLHF
概述 SFT（Supervised Fine-Tuning）和 RLHF（Reinforcement Learning from Human Feedback）是 LLM 训练管线中两个关键阶
约 1 分钟468 字 - Ch11 模型微调
概念-ORPO
ORPO（Odds Ratio Preference Optimization，优势比偏好优化）是2024年提出的突破性对齐算法，由韩国KAIST团队开发。ORPO的核心创新在于：将SFT（Supervised Fine-Tuning）和偏好对齐合并为单一训练步骤，无需单独的奖励
约 3 分钟1,081 字 - Ch11 模型微调
概念-SimPO
SimPO（Simple Preference Optimization，简化偏好优化）是2024年由普林斯顿大学等机构提出的对齐算法。SimPO的核心理念是极简主义：将偏好优化简化为两个关键要素——使用平均对数概率作为奖励（而非参考模型比较），以及引入目标奖励边际（target
约 4 分钟1,172 字 - Ch11 模型微调
Adapter Tuning（适配器微调）
一句话理解 Adapter Tuning 在 Transformer 的每一层之间插入小型神经网络模块（Adapter），微调时只训练这些模块，原始模型参数完全冻结。它是 PEFT 概念的开创
约 4 分钟1,311 字 - Ch11 模型微调
DoRA（Weight-Decomposed Low-Rank Adaptation）
一句话理解 DoRA 是 LoRA 的改进版，核心创新是将预训练权重分解为幅度（Magnitude）和方向（Direction）两部分，然后对方向部分应用 LoRA，对幅度部分单独调整，使微调
约 4 分钟1,335 字 - Ch11 模型微调
LoRA（Low-Rank Adaptation）
一句话理解 LoRA 在预训练权重矩阵旁边插入低秩分解矩阵（A × B），微调时只训练这两个小矩阵，原始权重完全冻结。训练完成后，小矩阵可以合并回原权重，推理时零额外开销。 零基础理解 原始模
约 5 分钟1,500 字 - Ch11 模型微调
参数高效微调（PEFT）
一句话理解 PEFT（Parameter-Efficient Fine-Tuning）是一类技术的统称，其核心思想是：只训练模型中极少量的参数（通常 0.1% 5%），冻结大部分参数，使微调效
约 4 分钟1,333 字 - Ch11 模型微调
Prefix Tuning（前缀微调）
一句话理解 Prefix Tuning 在 Transformer 的每一层前面拼接可学习的"前缀向量"（Prefix），这些向量参与该层的 Key-Value 注意力计算，从而影响整个生成过
约 4 分钟1,339 字 - Ch11 模型微调
Prompt Tuning（软提示微调）
一句话理解 Prompt Tuning 在输入 Embedding 层前面拼接一组可训练的虚拟 Token 向量（软提示，Soft Prompt），模型本身的参数完全冻结。通过优化这些虚拟 T
约 5 分钟1,646 字 - Ch11 模型微调
QLoRA（Quantized LoRA）
一句话理解 QLoRA = 4-bit 量化的基座模型 + LoRA 适配器。通过将预训练模型权重量化到 4-bit（NF4 格式），让原本需要 48GB 显存的 7B 模型微调，可以在单张
约 5 分钟1,549 字 - Ch11 模型微调
RAFT（深挖）
RAFT（Retrieval Augmented Fine-Tuning，检索增强微调）是 2024 年提出的微调策略：在微调阶段就把检索文档混入训练数据，让模型学会"查阅资料再回答"，而不是像传统 RAG 那样只在推理时做检索。RAFT 训练出的模型在推理时配合检索，效果优于纯
约 3 分钟1,031 字 - Ch11 模型微调
全量微调（Full Fine-Tuning）
一句话理解 在预训练模型（Pre-trained Model）的基础上，用特定任务的数据集，更新模型的所有参数（全部权重），使模型从"通用能力"转向"特定领域能力"。这是最传统、最彻底的微调方
约 5 分钟1,540 字 - Ch11 模型微调
深挖-模型合并 (Model Merging)
一句话理解 模型合并 (Model Merging) 是将多个针对不同任务微调的模型（或 LoRA 适配器）的权重参数进行数学组合，生成一个同时具备多种能力的单一模型，整个过程无需任何额外训练
约 8 分钟2,533 字 - Ch11 模型微调
- Ch13 RAG
对比-RAGvs微调
概述 RAG（Retrieval-Augmented Generation）和 Fine-tuning 是让 LLM 掌握特定领域知识的两种正交手段。RAG 给模型"查资料"，微调是"改模型参
约 2 分钟543 字 - Ch11 模型微调
11.1 微调数据准备
微调数据，本质上就是"例题与标准答案的配对集合"。如果把预训练模型比作一个读了整个图书馆但从未参加过考试的学生，那么微调数据就是一套精心编写的模拟试卷——每一道"题目"（用户指令）后面都附有一份"标准答案"（期望回复）。学生做完这套卷子，就知道考试时该用什么格式、什么风格来答题了
约 22 分钟7,136 字 - Ch11 模型微调
- Ch11 模型微调
11.3 QLoRA：单卡微调大模型
11.2 讲的 LoRA 解决了"训练参数太多"的问题。但还有一个问题没解决：基座模型本身就要占用大量显存，哪怕参数冻结不训练。 一个 70B 参数的模型，用 float16 精度存储就需要 140GB 显存。一张 RTX 4090 只有 24GB——连模型都装不下，别说训练了。
约 7 分钟2,248 字 - Ch11 模型微调
- Ch11 模型微调
11.8 常见错误
微调的每一步都可能踩坑。本节整理了实践中最高频的错误，每个都包含症状、根因和修法。这些问题在 LoRA/QLoRA SFT 场景中尤其常见 ^HuggingFace PEFT 文档常见问题 2025; Community Q&A, LoRA Debugging, 2025。
约 5 分钟1,618 字 - Ch11 模型微调
- Ch11 模型微调
第11章 · 模型微调
你用的 ChatGPT、Claude 都是"通用"AI（人工智能）——什么都会一点，但不一定擅长你需要的特定任务。比如你是一个律师，你需要 AI 用法律术语写合同。通用 AI 能写，但不够专业。
约 2 分钟657 字 - Ch11 模型微调
LoRA 微调（深挖）
这篇是进阶内容，面向想理解 LoRA 原理的读者。如果你是零基础初学者，先读 第11章 了解基本概念再回来看这篇。 公式可跳过：文中出现的矩阵符号（W ≈ A × B）可以直接跳过，看文字解释
约 3 分钟967 字 - Ch11 模型微调
偏好对齐：DPO vs GRPO（深挖）
Ch11 模型微调 介绍了 SFT（监督微调，给 AI 看标准答案让它学着模仿）教 AI "怎么做"，DPO（直接偏好优化）教 AI "什么样的答案更好"。这篇深入两种偏好对齐方法的区别。
约 4 分钟1,124 字