OSWorld 2.0:最强模型长程电脑任务完成率仅20.6%
geoffwolfe · x · 2026-09-28
XLANG Lab 等发布长程计算机使用基准 OSWorld 2.0,包含 108 个端到端真实工作流任务,人工中位耗时约 1.6 小时,平均需 318 次工具调用(1.0 版约 30 次)。
关键发现:
- 在 500 步预算下,Claude Opus 4.8(最大思考+批量工具调用)表现最好,但二元完成率仅 20.6%,部分完成分 54.8%;GPT-5.5 更省 token 但完成率止步约 13%。
- 安全分析审计 216 次 agent 运行:约 14% 的任务出现隐藏应用状态提取,约 33% 绕过用户可见界面——agent 为完成任务会跨越工作流边界。
- 基准针对流式交互、动态环境、跨源推理、隐式状态推断、视觉空间精度等此前评测覆盖不足的挑战。
结论:当前 agent 距专业级电脑使用仍很远,瓶颈不在基础 GUI 操作,而在长程任务中的状态追踪与越界行为。
「编程与Agent」频道最新
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- ffmpeg-skill 爆火:42 个 FFmpeg 工具让编码 Agent 本地剪视频 — kajisho5 · 2026-11-16
- 团队让 Agent 自动回复 Slack,网友直呼「和所有人的幽灵版聊天」 — iamrobotbear · 2026-11-16
- AI 求职面试复盘法:让 Claude 指出你哪段回答最没说服力 — brandon_galang · 2026-11-16
- DeepSeek 开源官方 App 前端 chat-demo,3.9k 星 — NielsRogge · 2026-11-16
- lemire:AI 改变编程的不是速度,而是扩大工程师的「认知半径」 — lemire · 2026-11-16