StatePortal 用 agent 合成检查点,GUI 深状态测试完成率 0%→27.5%
SJUT1 · hf · 2026-11-19
上海交大等团队发布 StatePortal:针对交互式 GUI 软件测试中「深状态」(需长交互历史才能到达的状态)难以触达的问题,提出由 agent 从自然语言测试用例 + 只读源码访问合成的检查点(checkpoint),可版本化保存和重放,通过 onboarding agent 自动绑定或合成 per-app hook,无需手写 hook 代码。
- 评测采用「程序状态 + 视觉」混合 oracle:两类检查必须同时通过,视觉 oracle 经盲测跨 VLM 校准
- 同步开源 DeepStateBench:10 个应用、61 个深状态任务,覆盖 5 种语言家族、6 种渲染栈,源码规模 874 行到 720 万行
- 结果:同一像素动作空间下,普通 GUI agent 完成率 0%,注入合成检查点后 10.4%,StatePortal(同时通过 hook 投递目标动作)达 27.5%
- 112 个检查点 1361 次重放中 98.9% 零模型调用即可复现原判定;混合 oracle 检出 96.25% 的纯状态检查看不见的视觉缺陷
代码与网站已开源。
「编程与Agent」频道最新
- 《Evals for AI Engineers》纸质书到货,与 GTA VI 同日开售 — HamelHusain · 2026-11-19
- Netlify 推出 Server:应用可常驻后端,支持长时 Agent — thisiskp_ · 2026-11-19
- Agent 一下午搭完,数据源集成却耗掉一周:实战复盘 — ConfectionNo6117 · 2026-11-19
- Executor 推出「Agent 云」:一次接入 Gmail、GitHub、Stripe 等工具 — lucasmeijer · 2026-11-19
- DataTalks.Club 免费 5 周课:零 GPU 构建生成式媒体 AI Agent — Al_Grigor · 2026-11-19
- Anthropic 推出全套免费 Claude 课程,含徽章认证 — ZabihullahAtal · 2026-11-19