StateAct 靠程序状态而非截图刷新 OSWorld 2.0
LiJunnan0409 · x · 2026-07-28
StateAct 用“少看屏幕”拿下 OSWorld 2.0 新 SOTA
这篇关于 computer-use agent 的工作 StateAct，在 OSWorld 2.0 上刷新了成绩。它的核心思路不是把截图看得更细，而是反过来：把程序状态作为主要接口，只在真正需要视觉判断时，才调用 GUI 专家。
关键结果
- Binary：20.6% → 26.9%
- Partial：54.8% → 61.6%
- 成本：约 $72/任务 降到 $7.8/任务
- Token：224K 降到 100K
- 其中 GUI 专家只占 1.1% 的步骤
泛化到多个基准
同一套 harness 也把 Claude Opus 4.8 在多项基准上抬升了成绩：
- OSWorld-Verified：80.9 → 81.9
- WindowsAgentArena：41.6 → 50.6
- AndroidWorld：69.0 → 81.9
- MobileWorld：51.3 → 70.1
作者的结论很明确：computer-use 不只是视觉问题，更是一个把“看到什么、作用于什么状态、以及长链路计划”串起来的agent 推理问题。
所属事件:Salesforce StateAct 颠覆视觉交互，成本降 9 倍(4 条相关)→
「编程与Agent」频道最新
- 开发者用Claude自动构建SaaS记忆库，每次会话后自动更新 — PratikKadam_ · 2026-07-28
- 开源工具Agent Skill Creator：一键生成跨17平台AI技能 — tom_doerr · 2026-07-28
- Reddit 讨论多智能体企业里敏感数据怎么管 — Spare_Bluebird7044 · 2026-07-28
- 23 岁 ERP 工程师规划转向 AI 应用工程师 — NelsonYus · 2026-07-28
- 用AI智能体Fable寻找美国本土离麦当劳最远的点 — deedydas · 2026-07-28
- MCP 周下载量超 2.5 亿次，企业级大更新加入无状态与授权 — MichaelFNunez · 2026-07-28