Salesforce提出StateAct框架，以程序状态取代截图，成本降9倍

Salesforce 提出了名为 StateAct 的新框架，旨在解决长周期计算机使用智能体过度依赖视觉模型带来的高成本与低效率问题。该框架在 OSWorld 2.0 基准测试中刷新了成绩，并大幅降低了智能体的运行成本，为相关领域的研发提供了新思路。

已确认

• 要点 StateAct 是一个面向长程 computer-use agents 的代码优先框架，由 Salesforce 提出。
• 要点 核心思路是将程序状态（如文件、后端和 DOM）作为智能体交互的主要表示，而不是原始屏幕像素。
• 要点 论文指出截图属于有损表示，因为不同的底层状态可能会呈现相同的像素画面。
• 要点 该框架仅在极少数（约 1.1%）真正需要视觉判断的步骤中才调用 GUI 专家模型。
• 要点 这种“状态优先”的方法使智能体成本下降了约 9 倍。
• 要点 StateAct 成功在 OSWorld 2.0 测试中取得了新的 SOTA 成绩，并提升了 Opus 4.8 的表现。

为什么重要

• 要点 当前主流的计算机智能体普遍依赖视觉模型读取屏幕像素，这伴随着巨大的算力与资金开销。StateAct 反其道而行之，证明了通过程序底层状态进行交互不仅能大幅削减成本，还能提升智能体在复杂长程任务中的表现，为下一代高效智能体的设计指明了重要方向。

2026-07-28 ~ 2026-07-29 · 5 条相关

• 【源头】抛弃视觉盲读，新框架让 Agent 成本降 9 倍 — _akhaliq · 2026-07-28
• 【源头】Salesforce 的 StateAct 用状态优先代理提升 Opus 4.8 表现 — Salesforce · 2026-07-28
• StateAct 论文主张电脑使用智能体先建模程序状态 — _akhaliq · 2026-07-28
• StateAct 靠程序状态而非截图刷新 OSWorld 2.0 — LiJunnan0409 · 2026-07-28

另有 1 条近重复转述:LiJunnan0409