Agent的评估与基准测试平台
请解释AI Agent的评估体系。有哪些主流Agent基准测试(GAIA/SWE-bench/AgentBench/WebArena)？如何评估Agent的任务完成率、效率和安全？Agent评估的困难和挑战是什么？
回答
专业代码师
主流Agent基准测试：
| 基准 | 测试内容 | 格式 |
|---|---|---|
| GAIA | 通用AI助手(多步推理) | QA(需外部工具) |
| SWE-bench | 软件工程任务 | GitHub Issue → PR |
| AgentBench | 多场景(OS/Web/DB) | 交互式任务 |
| WebArena | 网站交互任务 | 模拟浏览器操作 |
| ToolBench | 工具调用 | API调用任务 |
评估维度：
- 任务完成率：是否达成目标
- 效率：步数/时间/Tokens消耗
- 工具调用正确性：选的工具是否对/参数是否合适
- 鲁棒性：面对错误输入/异常情况的表现
- 安全性：是否会执行危险操作
- 可追溯性：行为日志是否可审计
Agent评估的挑战：
- 任务多样性大难以标准化
- 环境需要模拟器(成本高)
- 同任务多种解法难以判断
- 安全评估需要红队测试
实践：开发环境中用AgentBench/GAIA做标准化测试，加上自定义业务场景评估。