索引 / 标签
#量化
共 8 篇
- Ch20 推理部署
概念-AWQ
AWQ（Activation-aware Weight Quantization）是一种 4-bit 权重量化方法，通过分析激活值分布来保护重要权重通道，在几乎不损失精度的情况下将模型缩小 4 倍。
约 1 分钟371 字 - Ch20 推理部署
- Ch11 模型微调
对比-LoRvsQLoRA
概述 LoRA（Low-Rank Adaptation）和 QLoRA（Quantized LoRA）都是参数高效微调（PEFT）方法，QLoRA 在 LoRA 基础上引入量化技术，大幅降低显
约 1 分钟447 字 - Ch11 模型微调
QLoRA（Quantized LoRA）
一句话理解 QLoRA = 4-bit 量化的基座模型 + LoRA 适配器。通过将预训练模型权重量化到 4-bit（NF4 格式），让原本需要 48GB 显存的 7B 模型微调，可以在单张
约 5 分钟1,549 字 - Ch20 推理部署
概念-llama.cpp
llama.cpp 是纯 C/C++ 实现的 LLM 推理框架，专为消费级硬件（CPU/集成显卡）优化，GGUF 量化格式让大模型在普通电脑上也能运行。它是 Ollama、LM Studio 等工具的底层引擎，也是整个本地 AI 推理生态的基石。
约 3 分钟966 字 - Ch20 推理部署
深挖-量化
一句话理解 模型量化（Quantization）是将神经网络中原本用 32-bit 浮点数（FP32）表示的权重和激活值，转换为更低精度（如 FP16、INT8、INT4）的数值表示，从而大幅
约 6 分钟1,894 字 - Ch11 模型微调
11.3 QLoRA：单卡微调大模型
11.2 讲的 LoRA 解决了"训练参数太多"的问题。但还有一个问题没解决：基座模型本身就要占用大量显存，哪怕参数冻结不训练。 一个 70B 参数的模型，用 float16 精度存储就需要 140GB 显存。一张 RTX 4090 只有 24GB——连模型都装不下，别说训练了。
约 7 分钟2,248 字 - Ch20 推理部署
模型量化（深挖）
这篇是进阶内容。如果你刚接触 AI，先读 第20章 了解基本概念再回来看。 公式可跳过：文中出现的量化参数（Q4KM 等）可以直接跳过，读文字和表格即可理解量化原理。 Ch20 模型推理部署
约 4 分钟1,121 字