OSWorld 2.0 揭示：AI Agent 长任务成功率暴跌至 20%
shashib · x · 2026-08-23
- 测试升级：OSWorld 2.0 将任务时长从约 30 步提升至 318 步（需 1.6 小时），更贴近真实工作流。
- 性能跳水：Anthropic 领先模型在旧版得分 80+，在新版仅获 20.6%，证明长任务仍是软肋。
- 快速追赶：两个月后，新模型将分数从 20.6% 提升至约 70%。
- 成本对比：计算机使用 Agent 估算时薪 6-8 美元，外包人工约 10-12 美元。
- 核心结论：高分不代表实战可靠，Benchmark 提升快可能只是针对测试的过拟合。
「编程与Agent」频道最新
- Self Labs 推出 Agent Vault，让智能体安全登录并刷信用卡 — EXM7777 · 2026-10-16
- Plane Agents：触发器才是把聊天机器人变成工作流 Agent 的关键 — JosephJacks_ · 2026-10-16
- Claude 工程负责人写教程：教你用 AI 敢想敢做更宏伟的事 — danshipper · 2026-10-16
- Qwen Code Desktop v0.25.2 发布：managed-agent 稳定性与 MCP 配置修复 — github-actions[bot] · 2026-10-16
- NVIDIA 7 门 AI Agent 课程免费开放，2026 年不必花钱报班 — ifioknkem · 2026-10-16
- Claude 跑完 9 小时任务后卡在等授权，配上名画恰如其分 — juliey4 · 2026-10-16