索引 / 标签
#推理引擎
共 2 篇
- Ch20 推理部署
概念-vLLM
vLLM 是高吞吐量的开源 LLM 推理引擎，通过 PagedAttention 技术管理 KV 缓存，实现生产环境下的极致推理性能。如果说 Ollama 是个人跑模型的"一键工具"，vLLM 就是企业部署模型的"涡轮引擎"。
约 4 分钟1,255 字 - Ch20 推理部署
vLLM 推理引擎（深挖）
Ch20 模型推理部署 提到 vLLM 是服务器推理的首选。这篇解释它为什么比普通方案快几十倍——两个核心技术：PagedAttention 和连续批处理。
约 3 分钟946 字