22.2 推理引擎：从云端到边缘

概念

模型训练好之后，让它”干活”的过程叫推理（inference）。一个 700 亿参数的模型如果用最原始的方式运行，单次回答可能要等几十秒，而且一张显卡只能服务一个请求。推理引擎就是在模型和用户之间架设的加速层，让同一个模型跑得更快、服务更多人、消耗更少显存。

可以这样理解：训练相当于在工厂里造一辆跑车，推理则是这辆车上路行驶。推理引擎就是变速箱和涡轮增压 — 发动机（模型）没变，但通过精巧的工程优化，让加速更快、油耗更低、能同时载更多人。¹

教学：主流引擎与量化技术

2026 主流推理引擎

选择推理引擎的核心逻辑是场景匹配：vLLM 追求高吞吐（同时服务几百个请求），SGLang 追求低延迟（让每个用户感觉响应更快），TensorRT-LLM 榨干 NVIDIA 硬件的每一分算力，Ollama 让普通人的笔记本电脑也能跑大模型。²; ³

vLLM 的关键创新是 PagedAttention — 把注意力机制中不断增长的 KV 缓存像操作系统的虚拟内存分页一样管理，避免了显存碎片化，让吞吐量提升数十倍。SGLang 则通过结构化生成（让模型输出严格遵循 JSON schema 等格式约束）和基数感知调度进一步降低延迟。TensorRT-LLM 利用 NVIDIA 的闭源优化库实现极致的 GPU 利用率，但只能在 NVIDIA 显卡上使用。

量化：把 70B 模型塞进 24GB 显卡

量化（Quantization）是推理加速的基石技术。它的原理很简单：原始模型的参数用 16-bit 浮点数存储（FP16），一个 70B 模型需要约 140GB 显存。如果把这些参数”压缩”到 4-bit 整数（INT4），同样的模型只需要约 35GB 显存 — 一张 RTX 4090（24GB）跑不动 70B FP16 模型，但跑 QLoRA 第四量化的 70B 模型勉强可以。

量化的代价是精度损失，但 2026 年的技术已经让这种损失降到几乎可以忽略。GPTQ 和 AWQ 是两种主流的 INT4 量化方法：GPTQ 逐层优化量化参数，AWQ 更进一步通过分析激活值分布保护重要权重通道，精度损失通常在 1% 以内。FP8 是 NVIDIA H100 和 B200 显卡原生支持的新精度格式，比 INT4 精度更高、速度更快。GGUF 则是 llama.cpp 生态的量化格式，支持从 Q2（极低精度但能跑）到 Q8（接近无损）的灵活选择，是消费级硬件的首选方案。⁴; ⁵

（GGUF/AWQ/GPTQ 详见第20章；FP8 是英伟达新一代 GPU 的原生精度格式，比 INT4 精度高、速度更快；H100/B200 是 NVIDIA 的企业级 AI 计算卡）

注意事项

不要把量化当免费午餐。 Q4 级别的量化对大多数对话和摘要任务影响极小（<1% 性能损失），但对数学推理和代码生成等精确性要求高的任务，量化损失可能达到 3% 到 5%。如果你的场景是金融计算或医疗诊断，FP8 或 FP16 可能是必要的选择。

Ollama 适合开发调试，不一定适合上线。 Ollama 的便利性让它在个人开发和原型验证中非常受欢迎，但它缺少 vLLM 的 PagedAttention、连续批处理等生产级优化。当你的服务从 10 个测试用户扩展到 1000 个真实用户时，Ollama 的吞吐瓶颈会立刻暴露。

选引擎之前先想清楚瓶颈在哪。 如果瓶颈是单片 GPU 显存不够，优先考虑量化和 QLoRA；如果瓶颈是单次响应太慢，优先考虑 SGLang 的低延迟优化；如果瓶颈是并发用户太多，优先考虑 vLLM 的 PagedAttention 和连续批处理。

关联

• 推理引擎实操部署：见 第20章：AI 推理部署
• 微调后如何高效推理：见 22.4 微调技术
• 全栈视角中推理引擎的位置：见 22.1 全栈架构

← 上一节：22.1 全栈架构 ｜ 下一节：22.3 Agent 框架：选型指南 →