WebArena

概述

WebArena 是计算机使用 Agent 的评测基准，用于评估 Agent 在网页环境中的自动化操作能力，论文编号 arxiv: 2307.13854。

关键内容

1. 评测目标：
2. 评估 Agent 在真实网页环境中的交互能力
3. 涵盖网页导航、表单填写、信息检索等任务

4. 提供标准化的网页自动化评测环境

5. 在评测体系中的位置：

6. 与 OSWorld 共同构成计算机使用 Agent 的评测基准

7. 与 SWE-bench（编码）、τ-Bench（对话）形成多类型 Agent 评测矩阵

8. 技术特点：

9. 基于真实网页环境的仿真
10. 支持 DOM 交互和截图交互两种模式
11. 验证 Agent 在不同情境下选择正确交互方式的能力

来源

• raw/articles/ai-engineering/anthropic-engineering/claude-engineering/12_demystifying_evals.md — 参考与扩展阅读

相关

• 评测驱动开发 — uses（WebArena 是计算机使用 Agent 评测的标准工具）
• OSWorld — compares_to（同为计算机使用 Agent 评测基准）
• SWE-bench — compares_to（不同领域的 Agent 评测基准）