概念-模型压缩

一句话理解

模型压缩是用各种技术把大模型”变小变快”，让它在普通硬件上也能跑——核心方法包括量化、蒸馏、剪枝、低秩分解。

四大压缩方法

2026 年主流方案

推理侧：量化是标配。AWQ/GPTQ 用于 GPU 推理，GGUF 用于本地 CPU 推理。

训练侧：LoRA/QLoRA 本质上是低秩分解 + 量化的组合，已成为微调的标准方法。

比喻：原始模型像一本精装大百科全书，量化像把它印成小开本口袋书（内容一样，体积变小），蒸馏像一个专家把百科全书的精华写成一本入门指南（内容精简，但核心知识保留）。

相关笔记

• 概念-AWQ — AWQ 量化
• 深挖-量化 — 量化技术深入
• LoRA（Low-Rank Adaptation） — LoRA 低秩微调
• 第20章 · 模型推理部署 — 推理部署全景

来源

• Cheng et al., “A Survey of Model Compression and Acceleration for Deep Neural Networks”, 2017, https://arxiv.org/abs/1710.09282
• Frantar et al., “GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers”, 2023, https://arxiv.org/abs/2210.17323