Ch14 Agent原理修订于 二〇二六年七月二日
14.9 Agent 评估
怎么判断一个 Agent 好不好用？2026 年有五个核心维度：
任务完成率（Task Success Rate）：端到端任务成功完成的百分比。这是最直观的指标——给 100 个任务，Agent 独立完成了多少个？2026 年生产级 Agent 的目标是 90%+。注意：要区分”部分完成”和”完全完成”——Agent 搜到了资料但没写报告，算失败。
工具调用准确率（Tool Call Accuracy）：Agent 每次调用工具时，是否选对了工具、传对了参数。即使任务最终成功了，如果中间有 3 次无效的工具调用，说明效率低。2026 年优秀的 Agent 工具调用准确率在 95% 以上。
端到端延迟（End-to-End Latency）：从用户发任务到拿到结果的总时间。影响因素：LLM 推理速度（每次 Think 约 1-3 秒）、工具调用耗时（搜索 API 可能 2-5 秒）、循环次数（简单任务 3-5 轮，复杂任务 20-50 轮）。2026 年用户对 Agent 的延迟容忍度约 30-60 秒。
用户满意度（User Satisfaction）：人工评分或隐式反馈。隐式反馈更真实——用户是否修改了 Agent 的结果？修改了说明不满意。是否重复提问？重复了说明第一次没答好。
2026 年主流评估框架：
| 框架 | 评测维度 | 适用场景 | 特点 |
|---|---|---|---|
| AgentBench | 8 个维度（代码、搜索、工具使用等） | 通用 Agent | 最全面的 Agent 评测 |
| SWE-bench | 代码修复能力 | 编程 Agent | GitHub 真实 issue 驱动 |
| GAIA | 多步推理+工具使用 | 通用 Agent | 466 个真实世界问题 |
| WebArena | Web 操作能力 | Web Agent | 模拟真实网站交互 |
| tau-bench | 工具使用+对话 | 客服 Agent | 2025 年新出，专注工具对话 |
← 上一节：14.8 2026 年 Agent 的新变化 ｜ 下一节：14.10 Agent 的局限性 →