索引 / 标签
共 3 篇
AWQ（Activation-aware Weight Quantization）是一种 4-bit 权重量化方法，通过分析激活值分布来保护重要权重通道，在几乎不损失精度的情况下将模型缩小 4 倍。
模型压缩是用各种技术把大模型"变小变快"，让它在普通硬件上也能跑——核心方法包括量化、蒸馏、剪枝、低秩分解。
一句话理解 模型量化（Quantization）是将神经网络中原本用 32-bit 浮点数（FP32）表示的权重和激活值，转换为更低精度（如 FP16、INT8、INT4）的数值表示，从而大幅
常用