OSWorld

概述

OSWorld 是计算机使用 Agent 的评测基准，用于评估 Agent 在操作系统环境中的交互和操作能力。

关键内容

1. 评测目标：
2. 评估 Agent 在桌面/操作系统环境中的操作能力
3. 涵盖文件管理、应用操作、系统配置等任务

4. 提供标准化的操作系统交互评测环境

5. 在评测体系中的位置：

6. 与 WebArena 共同构成计算机使用 Agent 的评测基准

7. 与 SWE-bench（编码）、τ-Bench（对话）形成多类型 Agent 评测矩阵

8. 技术特点：

9. 支持 GUI 交互的自动化评测
10. 验证 Agent 在真实或沙盒环境中的操作能力
11. 面临评测 GUI 交互本质上难以自动化的挑战

来源

• raw/articles/ai-engineering/anthropic-engineering/claude-engineering/12_demystifying_evals.md — 参考与扩展阅读

相关

• 评测驱动开发 — uses（OSWorld 是计算机使用 Agent 评测的标准工具）
• WebArena — compares_to（同为计算机使用 Agent 评测基准）
• SWE-bench — compares_to（不同领域的 Agent 评测基准）