StateAct 用程序状态取代截图，刷新 OSWorld 2.0 SOTA
LiJunnan0409 · x · 2026-07-29
StateAct 把“程序状态”放在截图前面，刷新 OSWorld 2.0 SOTA
这条帖子介绍了一个面向长程 computer-use agent 的新方法 StateAct。核心思路不是继续堆更强的视觉识别，而是把 程序状态——文件、后端、DOM 等——作为主接口来理解和操作电脑。
要点包括：
- 代理几乎不依赖屏幕截图，只在真正需要视觉判断的子任务上调用 GUI 专家。
- 这种视觉兜底只占 1.1% 的步骤。
- 在同样的 Claude Opus 4.8 设置下，帖子称该方法在 OSWorld 2.0 上取得提升，二分类从 20.6% 提到 26.9%，部分指标从 54.8% 提到 61.x%。
这条信息的重点是：长程电脑操作代理的关键，可能不是“看得更清楚”，而是“更好地接触和利用底层应用状态”。
所属事件:Salesforce 推出 StateAct 框架，刷新 OSWorld 2.0 SOTA(5 条相关)→
「编程与Agent」频道最新
- Kimi K3 通过 Responses API 可接入 Kimi Code 和 Claude Code — zainhas · 2026-07-29
- Figma 与 Sentry MCP 把设计和错误数据直接喂给编码 Agent — heypearlai · 2026-07-29
- GitHub MCP Server 与 Context7 成为编码 Agent 核心工具 — heypearlai · 2026-07-29
- 删掉一半 MCP 服务器，agent 可能立刻更聪明 — heypearlai · 2026-07-29
- Alexey Grigorev 的 AI 开发课覆盖规格、测试、Docker 和 CI/CD — Al_Grigor · 2026-07-29
- AI 编程代理正在消解开发者的心流状态 — bendee983 · 2026-07-29