Agent 评估：如何衡量自主 AI 的能力

一句话理解

评估 LLM 的对话能力有 MMLU、Chatbot Arena，但评估 AI Agent 要复杂得多——Agent 需要规划、使用工具、与环境交互、在长时间任务中保持一致性。SWE-bench、GAIA、AgentBench、WebArena 等基准试图从不同维度衡量 Agent 的真实能力。2026 年，Agent 评估面临的挑战是：如何评估一个越来越自主的系统。

为什么 Agent 评估比 LLM 评估更难

LLM 评估 vs Agent 评估

Agent 评估的核心难题是环境依赖性：Agent 需要在一个”真实”的环境中运行（代码仓库、网页、操作系统），而搭建和维护这些环境成本很高。同时，Agent 的行为是非确定性的——同样的任务，Agent 可能每次做出不同的选择。

主流 Agent 评估基准

SWE-bench：软件工程能力

SWE-bench 是评估 Agent 编程能力的最重要基准之一。它来自真实的 GitHub issues——从流行 Python 仓库中提取 issue，要求 Agent 修复对应的 bug。

SWE-bench 的分数解读：

SWE-bench 的分数在 2024-2026 年间快速提升，但也引发争议：分数提升是因为 Agent 能力真的变强了，还是因为模型训练数据中包含了这些仓库的代码？

SWE-bench Verified：2024 年推出的改进版，从 2,294 个任务中筛选出 500 个经过人工验证的”干净”任务，排除了描述不清、测试不完整等问题。

GAIA：通用 AI 助手能力

GAIA 由 Meta 和 Hugging Face 联合发布，评估 Agent 作为”通用助手”的能力。

GAIA 的独特设计：GAIA 的问题刻意设计为”对人类来说简单，对 AI 来说困难”。例如：

• “在 2023 年 Nature 杂志的某篇文章中，图 3 的 x 轴最大值是多少？“——需要搜索、阅读、理解图表
• “找到这个 YouTube 视频，在 3:15 秒时屏幕上显示的是什么品牌？“——需要多模态理解

这些问题对人不难，但需要 Agent 具备搜索、浏览、推理、多模态理解等多种能力的组合。

到 2026 年，最好的 Agent 在 GAIA 上仍远低于人类水平，说明通用 AI 助手的能力还有很大提升空间。

AgentBench：多维度 Agent 能力

AgentBench 由清华大学和智谱 AI 发布，是第一个系统化的 Agent 评估基准。

AgentBench 的 8 个环境：

WebArena：网页 Agent 评估

WebArena 评估 Agent 在真实网页环境中的操作能力。

tau-bench：工具使用可靠性

tau-bench (2024-2025) 专注于评估 Agent 在工具使用中的可靠性——Agent 是否能正确调用工具、处理错误、在多步交互中保持一致性。

OSWorld：操作系统 Agent

OSWorld 评估 Agent 在真实操作系统（Ubuntu, Windows, macOS）中的操作能力。

WorkArena：企业工作流 Agent

WorkArena 评估 Agent 在企业工作流（ServiceNow 平台）中的表现。

全面对比：Agent 评估基准

2026 年：Agent 评估的挑战

数据污染

和 LLM 评估一样，Agent 评估基准也面临数据污染问题。当 Agent 的训练数据中包含了 SWE-bench 的 issue 和解决方案，分数就失去了参考价值。业界正在推动”动态评估”——任务不断更新，且评估环境保持封闭。

评估成本

Agent 评估的成本远高于 LLM 评估。运行一次 SWE-bench 的完整评估可能需要数千美元的 API 调用费用和数天的时间。这限制了小团队和学术界的参与。

真实 vs 模拟

模拟环境（WebArena, AgentBench）的成本低但不够真实。真实环境（SWE-bench 的真实 GitHub 仓库、OSWorld 的真实虚拟机）的真实性高但成本更高、更难复现。

过程 vs 结果

目前的评估基准大多只看”结果”（任务是否完成），不看”过程”（Agent 是否高效、是否遵循了安全规范）。但过程质量同样重要——一个完成任务但执行了危险操作的 Agent，不应该被视为”好 Agent”。

评估的”Goodhart 陷阱”

当评估基准成为优化目标，Agent 开发者就会针对基准”刷分”——比如在 SWE-bench 上，Agent 可以针对特定仓库做特殊优化，而不提升通用能力。这就是 Goodhart 定律的体现：当一个指标成为目标，它就不再是一个好指标。

相关笔记

• 第14章 · Agent 是怎么工作的 — Agent 的工作机制与架构
• LLM 通用评估：怎么给 AI 打分 — LLM 通用评估方法
• 第16章 · 多个 AI 怎么配合工作 — 多 Agent 系统的评估
• Agent 原理与 ReAct — Agent 的 ReAct 推理模式
• 概念-ToolUse — 工具调用能力
• 概念-AgenticWorkflow — Agent 工作流设计

来源

• Jimenez et al., “SWE-bench: Can Language Models Resolve Real-World GitHub Issues?” (ICLR 2024) — https://arxiv.org/abs/2310.06770
• Mialon et al., “GAIA: A Benchmark for General AI Assistants” (ICLR 2024) — https://arxiv.org/abs/2311.12983
• Liu et al., “AgentBench: Evaluating LLMs as Agents” (ICLR 2024) — https://arxiv.org/abs/2308.03688
• Zhou et al., “WebArena: A Realistic Web Environment for Building Autonomous Agents” (ICLR 2024) — https://arxiv.org/abs/2307.13854
• Yao et al., “tau-bench: A Benchmark for Tool-Agent-User Interaction” (2024) — https://arxiv.org/abs/2406.12045
• Xie et al., “OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments” (2024) — https://arxiv.org/abs/2404.07972
• SWE-bench Official — https://www.swebench.com/