项目二：在自己的电脑上跑一个 AI

15 分钟。不需要联网。不需要写代码。你的电脑上会有一个随时可用的 AI。

你要做什么

安装 Ollama，下载一个 AI 模型，在命令行里跟它对话。全程不需要编程。

为什么从这个开始

你已经读了 AI 对话的三年演变，知道市面上有各种 AI。现在你不再需要用别人的服务——你电脑上就有一个，不联网也能用，没人能偷看你的对话。

操作步骤

第一步：安装 Ollama。 打开 https://ollama.com，点击 Download，选择你的系统（Mac/Windows/Linux）。下载安装包，双击安装。

如果你是 Windows 用户，装完之后打开”命令提示符”（在开始菜单搜索 cmd）。 如果你是 Mac 用户，装完之后打开”终端”（在启动台搜索 Terminal）。

第二步：下载一个模型。 在命令行输入：

ollama pull llama4.1

llama4.1 是 Meta 开源的一个 AI 模型，8B 参数（80 亿），下载大约 4GB。等几分钟下载完。

如果电脑配置较低或网速慢，可以用更小的模型：

ollama pull qwen3.7:0.5b

只有 0.5B 参数，不到 500MB。

第三步：开始对话。 下载完之后，输入：

ollama run llama3.2

出现 >>> 提示符后，你就可以跟它对话了。试试：

• “用中文简单解释什么是黑洞”
• “帮我写一段生日祝福”
• “把下面这句话翻译成英文：今天天气真好”

输入 /bye 退出聊天。

发生了什么

你刚才做的事情：

1. 安装了一个 AI 运行工具（Ollama）
2. 下载了一个 AI 模型（llama3.2 或 qwen2.5）
3. 在你自己的电脑上跟 AI 对话

全程没有联网（下载模型除外），没有人能监控你的对话，关掉 WiFi 也能用。

背后用了什么技术

• Ollama 底层用的是 llama.cpp，一个专门为普通电脑优化的 AI 运行工具
• llama4.1 是 GGUF 格式（量化 过的模型），所以才能在普通电脑上跑
• 你在命令行里输入的文字就是 提示词

遇到问题？

• “命令找不到 ollama”：安装完需要重启命令行窗口
• 下载太慢：换个时间再试，或者用小模型 qwen2.5:0.5b
• 电脑太老跑不动：试试更小的模型 qwen2.5:0.5b

下一步

试着问 AI 不同的东西，感受一下”自己的 AI”和”ChatGPT”的区别。然后可以试试自定义设置（温度、系统提示词等）。

相关笔记

• 第20章 · 模型推理部署 — 理解 Ollama 背后的技术
• 模型量化（深挖） — 为什么大模型能在你的电脑上跑
• AI 对话的三年演变 — 回顾 AI 对话工具的演变

来源

• Ollama, https://ollama.com
• Meta, Llama 4.1
• Alibaba, Qwen 3.7