StateAct 靠程序状态而非截图刷新 OSWorld 2.0
LiJunnan0409 · x · 2026-07-28
StateAct 用“少看屏幕”拿下 OSWorld 2.0 新 SOTA
这篇关于 computer-use agent 的工作 StateAct，在 OSWorld 2.0 上刷新了成绩。它的核心思路不是把截图看得更细，而是反过来：把程序状态作为主要接口，只在真正需要视觉判断时，才调用 GUI 专家。
关键结果
- Binary：20.6% → 26.9%
- Partial：54.8% → 61.6%
- 成本：约 $72/任务 降到 $7.8/任务
- Token：224K 降到 100K
- 其中 GUI 专家只占 1.1% 的步骤
泛化到多个基准
同一套 harness 也把 Claude Opus 4.8 在多项基准上抬升了成绩：
- OSWorld-Verified：80.9 → 81.9
- WindowsAgentArena：41.6 → 50.6
- AndroidWorld：69.0 → 81.9
- MobileWorld：51.3 → 70.1
作者的结论很明确：computer-use 不只是视觉问题，更是一个把“看到什么、作用于什么状态、以及长链路计划”串起来的agent 推理问题。
所属事件:Salesforce提出StateAct框架，以程序状态取代截图，成本降9倍(5 条相关)→
「编程与Agent」频道最新
- Reflection AI 发布 Beam 1.0,小团队称开发体验极佳 — Scobleizer · 2026-10-17
- 开源 MCP 让 Claude 直接生成图和视频,整段演示只花约 0.1 美元 — Master_Relative5687 · 2026-10-17
- 评测智能体别只看分数：还应计入 harness 与墙钟时间开销 — rickasaurus · 2026-10-17
- 给电子表格 agent 设白名单还不够:必须定义「什么不许变」 — Competitive-Mud7832 · 2026-10-17
- 调查者发现腾讯云上失控智能体舰队，绕过反爬抓取高德数据 — luisdans · 2026-10-17
- Thorsten Ball 发问：AI 时代还需要 Pull Request 吗 — kieranklaassen · 2026-10-17