StateAct 用程序状态取代截图，刷新 OSWorld 2.0 SOTA
LiJunnan0409 · x · 2026-07-29
StateAct 把“程序状态”放在截图前面，刷新 OSWorld 2.0 SOTA
这条帖子介绍了一个面向长程 computer-use agent 的新方法 StateAct。核心思路不是继续堆更强的视觉识别，而是把 程序状态——文件、后端、DOM 等——作为主接口来理解和操作电脑。
要点包括：
- 代理几乎不依赖屏幕截图，只在真正需要视觉判断的子任务上调用 GUI 专家。
- 这种视觉兜底只占 1.1% 的步骤。
- 在同样的 Claude Opus 4.8 设置下，帖子称该方法在 OSWorld 2.0 上取得提升，二分类从 20.6% 提到 26.9%，部分指标从 54.8% 提到 61.x%。
这条信息的重点是：长程电脑操作代理的关键，可能不是“看得更清楚”，而是“更好地接触和利用底层应用状态”。
所属事件:Salesforce提出StateAct框架，以程序状态取代截图，成本降9倍(5 条相关)→
「编程与Agent」频道最新
- 开源 MCP 让 Claude 直接生成图和视频,整段演示只花约 0.1 美元 — Master_Relative5687 · 2026-10-17
- 评测智能体别只看分数：还应计入 harness 与墙钟时间开销 — rickasaurus · 2026-10-17
- 给电子表格 agent 设白名单还不够:必须定义「什么不许变」 — Competitive-Mud7832 · 2026-10-17
- 调查者发现腾讯云上失控智能体舰队，绕过反爬抓取高德数据 — luisdans · 2026-10-17
- Thorsten Ball 发问：AI 时代还需要 Pull Request 吗 — kieranklaassen · 2026-10-17
- Zed CEO 批 OpenAI Dots「低努力」：任务做一半就停 — zeeg · 2026-10-17