索引 / 标签
#LoRA
共 7 篇
- Ch11 模型微调
11.2 全量微调与LoRA
全量微调（Full Fine-Tuning）是最传统、最彻底的微调方式：在预训练模型的基础上，用特定任务的数据集，更新模型的所有参数，使模型从"通用能力"转向"特定领域能力"。^Howard & Ruder, "Universal Language Model Fine-tuni
约 16 分钟5,153 字 - Ch11 模型微调
DoRA（Weight-Decomposed Low-Rank Adaptation）
一句话理解 DoRA 是 LoRA 的改进版，核心创新是将预训练权重分解为幅度（Magnitude）和方向（Direction）两部分，然后对方向部分应用 LoRA，对幅度部分单独调整，使微调
约 4 分钟1,335 字 - Ch11 模型微调
LoRA（Low-Rank Adaptation）
一句话理解 LoRA 在预训练权重矩阵旁边插入低秩分解矩阵（A × B），微调时只训练这两个小矩阵，原始权重完全冻结。训练完成后，小矩阵可以合并回原权重，推理时零额外开销。 零基础理解 原始模
约 5 分钟1,500 字 - Ch11 模型微调
参数高效微调（PEFT）
一句话理解 PEFT（Parameter-Efficient Fine-Tuning）是一类技术的统称，其核心思想是：只训练模型中极少量的参数（通常 0.1% 5%），冻结大部分参数，使微调效
约 4 分钟1,333 字 - Ch11 模型微调
QLoRA（Quantized LoRA）
一句话理解 QLoRA = 4-bit 量化的基座模型 + LoRA 适配器。通过将预训练模型权重量化到 4-bit（NF4 格式），让原本需要 48GB 显存的 7B 模型微调，可以在单张
约 5 分钟1,549 字 - Ch11 模型微调
深挖-模型合并 (Model Merging)
一句话理解 模型合并 (Model Merging) 是将多个针对不同任务微调的模型（或 LoRA 适配器）的权重参数进行数学组合，生成一个同时具备多种能力的单一模型，整个过程无需任何额外训练
约 8 分钟2,533 字 - Ch11 模型微调
11.3 QLoRA：单卡微调大模型
11.2 讲的 LoRA 解决了"训练参数太多"的问题。但还有一个问题没解决：基座模型本身就要占用大量显存，哪怕参数冻结不训练。 一个 70B 参数的模型，用 float16 精度存储就需要 140GB 显存。一张 RTX 4090 只有 24GB——连模型都装不下，别说训练了。
约 7 分钟2,248 字