Ch20 推理部署修订于 二〇二六年七月二日
20.10 推理服务质量
部署推理服务不只是”能跑起来”，还要确保用户体验好。
20.10.1 核心指标
| 指标 | 定义 | 良好标准 | 为什么重要 |
|---|---|---|---|
| TTFT（Time To First Token） | 用户发送请求到第一个 Token 出现的时间 | <500ms | 决定了用户”感觉快不快” |
| TPS（Tokens Per Second） | 生成过程中的 Token 产出速度 | >30 tokens/s | 阅读速度，低于 20 会感觉卡顿 |
| P50 延迟 | 50% 请求的完成时间 | <3s | 中位数体验 |
| P95 延迟 | 95% 请求的完成时间 | <10s | 尾部体验，影响最差用户 |
| P99 延迟 | 99% 请求的完成时间 | <20s | 极端情况，影响关键用户 |
| 吞吐量 | 每秒处理的 Token 总数 | >1000 tokens/s | 系统容量 |
| 并发用户数 | 同时服务的用户数 | 取决于 GPU 数量 | 业务规模 |
| 可用性 | 服务正常运行的时间比例 | 99.9%+（月宕机 <43 分钟） | 服务可靠性 |
20.10.2 监控和告警
推荐的关键监控指标：
- GPU 利用率：应保持在 80-95%，过低说明有资源浪费，过高说明接近瓶颈
- 显存使用率：应低于 90%，留出缓冲空间
- 请求队列长度：排队中的请求数，持续增长说明需要扩容
- 错误率：4xx/5xx 错误的比例，应低于 0.1%
- Token 生成中断率：用户中途取消请求的比例，高于 20% 说明生成太慢
常用监控工具栈：Prometheus（指标采集）+ Grafana（可视化面板）+ NVIDIA DCGM（GPU 指标导出）。vLLM 和 TGI 都内置了 Prometheus 指标端点。
← 上一节：20.9 2026年推理成本分析 ｜ 下一节：20.11 推理安全 →
关联5
知识图谱局部图谱 · 点节点跳转