StatePortal: Agentic Checkpoint Synthesis for Testing Deep States in Interactive Software
Zhiyuan Peng, Wei Tao, Chenhao Ying, Yuan Luo, Yiwen Guo
Shanghai Jiao Tong University / LIGHTSPEED / Independent Researcher
ICLR 2027
cs.SE, cs.AI
2026-09-30
从用例和只读源码合成检查点后,三模型上像素智能体通过率从0%到10.4%,StatePortal达27.5%。
交互软件要测的行为往往不在初始界面。深状态是要很长一段操作才到得了的界面,每次提交都得重走。自渲染引擎把画面画在一块 GPU 表面上,没有 DOM,也没有无障碍树。像素智能体可以逐步点击,但每步都是一次模型决策,点错会沿路径累积。
491 个开源游戏项目里只有 7.33% 带自动化测试。扫过的 47 个 Unity、Godot、Unreal 仓库里,没有一条测试把游戏玩到必须交互才到达的状态。
StatePortal 用自然语言用例和只读源码合成检查点:一份可回放的恢复包,经每个应用只接入一次的 hook 直接恢复目标状态。hook 是可调用的状态迁移接口。评分规格对合成过程隐藏。
onboarding 智能体按能力简报和运行笔记绑定或写出 hook,不用手写。十个应用全部成功:三个走现成 API,三个走扩展,四个走测试门控入口。gpt-5.6-sol 用了 549 万 token、2838 秒,另一次复现也成功,约 607 万 token、7 美元。
单次合成最多 16 轮 ReAct,每轮只查一次目录、搜索或读文件。同一次回复交出恢复策略、载荷、Start、有限动作和预测断言。断言不算分。恢复写进已运行进程,替换整段像素前缀。通过状态、进程和存档往返检查后,才执行待测动作。
判分要程序化判定和视觉判定同时通过。视觉侧用 qwen3-vl-flash,只能否决程序化通过,不能把失败改成通过。200 张独立样本上,两家盲标模型 199 张一致(一致系数 κ=0.9896)。Qwen 准确率 96.0%,误接受 3.39%,误拒绝 4.88%。80 处不改状态字段的视觉故障,混合判定抓出 77 处(96.25%)。
DeepStateBench:61 项任务、10 个应用、五种语言家族、六种渲染栈,源码从 874 行到 LibreOffice 约 720 万行,游戏占 46 项。权重事先冻结,资格运行 122/122 通过。
三个注册模型、种子 0–2,共 1647 次试验,像素动作空间相同。
| 配置 | Start | 端到端 | 平均 token |
| Agent S3 从初始画面点 | 7.8% | 0% | 408.3k |
| Agent S3 先恢复检查点 | 36.6% | 10.4% | 163.8k |
| StatePortal 用 hook 执行 | 38.4% | 27.5% | 106.7k |
10.4% 的任务聚类 95% 区间是 [4.9, 16.6],27.5% 是 [19.3, 36.1]。McNemar 配对检验经 Holm 校正后仍显著(p≤0.00195)。端到端比同样播种的 Agent S3 高 17.1 个百分点,差在 hook 下发联合生成的动作。单次试验请求数从 42.4 降到 16.2,StatePortal 为 7.4。
gpt-5.6-terra 上三者为 0%/302.0k、14.2%/96.6k、24.6%/51.6k。gemini-3.5-flash 的 StatePortal 为 35.5%,kimi-k2.6 为 22.4%。gpt-6-astra(未并入汇总)冷启动仍是 0%,StatePortal 为 30.6%。
动作另由外部规划器生成时,端到端 24.2%,低于联合合成的 27.5%。拆分的 Start 更高(43.9% 对 38.4%),转成 Goal 只有 55.2%,联合合成是 71.6%。
112 个检查点重放 1361 次,模型调用为零,98.90% 复现原判定,中位 422 毫秒。11 个仓库测试分不开的真实修复里,StatePortal 在 8 个可比任务上分开 7 对画面,播种像素配置为 4/8 和 2/8。同版本 26 对里误分开 4 对,假分离率 15.4%。
每个应用接一次 hook,每个深状态合成一次,之后回归不再调用模型。播种只把像素智能体从 0% 抬到 10.4%。更可取的用途是差分:同一检查点把两个版本放进同一深状态,画面差能碰到测试套件没写上的视觉缺陷。
61 项里 50 项动作走源码 API,像素基线始终在点屏幕。17 个百分点里有一部分是接口差异。
Start 为 38.4%,端到端 27.5%,多数任务仍然失败。缺陷只有 11 个 issue,15.4% 的同版本假分离说明画面差分会误报,7/8 撑不起回归门禁。1361 次里,一个检查点回放不一致,另一个和原判定不同。
视觉校准样本是空白帧、条纹遮挡和错误状态。校准没覆盖真实渲染 bug 的分布。4.88% 误拒绝在合取规则下直接算失败。onboarding 看得到能力简报和运行笔记,四个应用靠测试门控入口改状态,通过不等于走过玩家的点击路径。
扇入扇出按名字做文本近似,不是调用图。论文没有在开源权重上重复这组实验。