索引 / 标签
#QLoRA
共 2 篇
- Ch11 模型微调
QLoRA（Quantized LoRA）
一句话理解 QLoRA = 4-bit 量化的基座模型 + LoRA 适配器。通过将预训练模型权重量化到 4-bit（NF4 格式），让原本需要 48GB 显存的 7B 模型微调，可以在单张
约 5 分钟1,549 字 - Ch11 模型微调
11.3 QLoRA：单卡微调大模型
11.2 讲的 LoRA 解决了"训练参数太多"的问题。但还有一个问题没解决：基座模型本身就要占用大量显存，哪怕参数冻结不训练。 一个 70B 参数的模型，用 float16 精度存储就需要 140GB 显存。一张 RTX 4090 只有 24GB——连模型都装不下，别说训练了。
约 7 分钟2,248 字