索引 / 标签
#模型推理
共 3 篇
- Ch20 推理部署
概念-llama.cpp
llama.cpp 是纯 C/C++ 实现的 LLM 推理框架，专为消费级硬件（CPU/集成显卡）优化，GGUF 量化格式让大模型在普通电脑上也能运行。它是 Ollama、LM Studio 等工具的底层引擎，也是整个本地 AI 推理生态的基石。
约 3 分钟966 字 - Ch20 推理部署
概念-Ollama
Ollama 是本地运行大模型的最简单工具。一条命令 ollama run llama4.1 就能下载模型、启动推理服务、进入交互式对话。它把模型权重管理、量化、推理、API 服务全部封装好，用户不需要关心 GGUF 格式、CUDA 配置、tokenizer 等底层细节。
约 4 分钟1,127 字 - Ch20 推理部署
概念-vLLM
vLLM 是高吞吐量的开源 LLM 推理引擎，通过 PagedAttention 技术管理 KV 缓存，实现生产环境下的极致推理性能。如果说 Ollama 是个人跑模型的"一键工具"，vLLM 就是企业部署模型的"涡轮引擎"。
约 4 分钟1,255 字