20.3 怎么跑
三种最常见的方式，从简单到复杂：
20.3.1 Ollama：一键启动
如果你只是想在自己的电脑上跑一个 AI，Ollama 是最简单的选择。下载安装后，在命令行输入：
ollama run llama3它自动下载模型、自动配置、自动启动。就跟安装一个 App 一样简单 1。
Ollama 底层用的是 llama.cpp——一个专门为普通硬件优化的推理引擎（推理引擎就是把模型”跑起来”的软件：模型是菜谱，推理引擎是厨师——负责执行计算、把输入变成输出）。不需要 GPU，CPU 也能跑（虽然慢一些）。
20.3.2 llama.cpp：极客的选择
如果你想最大程度榨干硬件的性能，llama.cpp 是最优选择。它支持各种量化格式，可以在树莓派（一种 300 块钱的微型电脑）上跑 AI。它是 GGUF 格式的提出者和主要维护者 2。
20.3.3 vLLM：服务器的选择
如果你要做一个 AI 服务，给几十上百人同时用——比如做一个 ChatGPT 的替代品——那就需要 vLLM（一个高性能的 AI 模型运行工具）。它在显卡服务器上跑，用 PagedAttention 技术管理显存。PagedAttention（分页注意力）的灵感来自操作系统的虚拟内存管理：把显存分成一个个小块（“页”），模型用到的数据按需调入、用完释放——就像操作系统不会一次性把整个程序装入内存，而是按需换页。这样显存利用率大幅提升，处理速度是 Ollama 的几十倍。
20.3.4 推理引擎对比速查
除了上面三种，2026 年生态中还有几个重要的推理引擎。下表给出完整对比：
| 引擎 | 适用场景 | 核心优势 | 核心劣势 | 支持模型格式 | 社区活跃度 |
|---|---|---|---|---|---|
| vLLM | 服务器高吞吐推理 | PagedAttention 显存管理最优，吞吐量最高，支持张量并行 | 仅支持 GPU，配置复杂 | GPTQ, AWQ, FP16, BF16 | 最高（45K+ GitHub Stars） |
| SGLang | 复杂 LLM 应用 | 结构化生成（JSON/Regex 约束）、RadixAttention 前缀缓存、批处理灵活 | 生态较新，文档不如 vLLM 完善 | GPTQ, AWQ, FP16 | 高（20K+ Stars） |
| TensorRT-LLM | NVIDIA 生态深度优化 | NVIDIA 官方优化，H100/B200 上性能最优，支持 FP8/FP4 | 仅 NVIDIA GPU，模型转换复杂，社区资源少 | TensorRT 引擎 | 中（NVIDIA 官方维护） |
| TGI | HuggingFace 生态 | 与 HuggingFace Hub 无缝集成，一键部署，支持水印 | 性能略低于 vLLM，定制化受限 | GPTQ, AWQ, FP16 | 高（HuggingFace 官方维护） |
| llama.cpp | CPU/边缘设备推理 | CPU 推理性能最优，GGUF 格式提出者，支持树莓派到手机 | GPU 推理比 vLLM 慢，不支持多 GPU | GGUF | 极高（70K+ Stars） |
| Ollama | 个人/小团队本地部署 | 安装最简单（一行命令），自动下载模型，内置 Web UI | 不适合生产服务，吞吐量低 | GGUF（基于 llama.cpp） | 极高（100K+ Stars） |
选型建议：
- 个人使用：Ollama
- 生产服务（GPU）：vLLM 或 SGLang
- 生产服务（NVIDIA 深度优化）：TensorRT-LLM
- 生产服务（HuggingFace 生态）：TGI
- CPU/边缘设备：llama.cpp
- 需要结构化输出（JSON/函数调用）：SGLang
更多引擎内部原理见 概念-Ollama、概念-vLLM、概念-llama.cpp。
<- 上一节：20.2 几种常见的量化格式 ｜ 下一节：20.6 2026 年推理部署新趋势 ->
注释
-
Ollama, https://ollama.com ↩
-
llama.cpp GitHub, https://github.com/ggerganov/llama.cpp ↩