#大模型

概念-Ollama

Ollama 是本地运行大模型的最简单工具。一条命令 ollama run llama4.1 就能下载模型、启动推理服务、进入交互式对话。它把模型权重管理、量化、推理、API 服务全部封装好，用户不需要关心 GGUF 格式、CUDA 配置、tokenizer 等底层细节。