Ch20 推理部署修订于 二〇二六年七月二日
20.9 2026年推理成本分析
20.9.1 主流 API 价格（2026 年中）
| 模型 | 输入价格 ($/百万Token) | 输出价格 ($/百万Token) | 特点 |
|---|---|---|---|
| GPT-5.5 | 1.25 | 5.00 | 最强模型，适合复杂推理 |
| GPT-5.5 Mini | 0.15 | 0.60 | 性价比首选，适合日常任务 |
| Claude Opus 4.5 | 3.00 | 15.00 | 深度推理，代码生成 |
| Claude Sonnet 4 | 0.80 | 4.00 | 平衡性能与成本 |
| Gemini 3 Pro | 0.60 | 2.50 | 多模态能力强 |
| Llama 4.1 405B (Groq) | 0.30 | 0.90 | 开源模型，性价比最高 |
| Qwen 3 235B (Together) | 0.20 | 0.60 | 中文能力最强 |
20.9.2 自建推理成本
以服务 100 个并发用户、每天 5000 万 Token 为例：
| 方案 | 硬件 | 月成本 | 说明 |
|---|---|---|---|
| 4 x A100 云 GPU | 云租用 | 约 6 万元 | 包含 GPU 租赁+带宽+存储 |
| 4 x A100 购买 | 自购约 40 万 | 分摊约 1.5 万/月 | 3 年折旧 + 电费约 3000 元/月 + 运维 |
| 8 x RTX 5090 自建 | 自购约 16 万 | 分摊约 6000 元/月 | 消费级显卡，适合小微服务 |
20.9.3 什么时候自建比 API 便宜
假设用 GPT-5.5 Mini API（输出 $0.60/百万 Token），对比自建 4 x A100 方案（月均分摊 1.5 万元）：
- 自建 4 x A100 每天能处理约 5000 万 Token（7B 模型 INT4 量化，约 30 tokens/s/并发，100 并发，24 小时）
- 5000 万 Token/天 x 30 天 = 15 亿 Token/月
- 用 API：15 亿 x 9000 ~ 6.5 万元
- 用自建：1.5 万元（分摊）+ 0.3 万元（电费）+ 0.5 万元（运维）= 2.3 万元
结论：Token 量越大，自建越划算。 粗略估算，当月 Token 消耗超过 5000 万时，自建 4 x A100 的成本开始低于使用 GPT-5.5 Mini API。如果使用更便宜的 Groq 或 Together 上的开源模型，拐点会推迟到 2-3 亿 Token/月。
但这里有一个重要前提：自建推理的模型质量通常低于 GPT-5.5 级别。 如果你需要 GPT-5.5 级别的模型质量，自建的门槛更高——需要更多 GPU 跑更大的模型。
← 上一节：20.8 部署方案选型深入 ｜ 下一节：20.10 推理服务质量 →