索引 / 标签
#本地部署
共 2 篇
- Ch20 推理部署
概念-llama.cpp
llama.cpp 是纯 C/C++ 实现的 LLM 推理框架，专为消费级硬件（CPU/集成显卡）优化，GGUF 量化格式让大模型在普通电脑上也能运行。它是 Ollama、LM Studio 等工具的底层引擎，也是整个本地 AI 推理生态的基石。
约 3 分钟966 字 - Ch20 推理部署
概念-Ollama
Ollama 是本地运行大模型的最简单工具。一条命令 ollama run llama4.1 就能下载模型、启动推理服务、进入交互式对话。它把模型权重管理、量化、推理、API 服务全部封装好，用户不需要关心 GGUF 格式、CUDA 配置、tokenizer 等底层细节。
约 4 分钟1,127 字