Right Screen, Wrong Transition: World Models as Verifiers for GUI Agents
Jiaming Zhang, Xuan Wang, Fuyao Zhang, Yang Cao, Lingjuan Lyu, Wei Yang Bryan Lim
cs.CV
2026-10-08
LGWM 把下一屏预测成向量，无监督余弦校验转移。相同的登录屏上，17 毫秒达到 0.987 AUC，对齐最强闭源模型，高出生成式模型约十个点。
点「Sign in」后出现登录页，正常。点「View order」后出现同一张登录页，像素不变，就是攻击。GUI agent 点的是别人的 App 和网页，劫持只改动作的后果，单帧看起来都合法。只查屏幕的监控，会被一张真页面复用打穿。
要判一次转移是否完整，得有「这个动作本该通向哪一屏」的预期。现有 GUI world model 给的预期是文字、代码或渲染图，和截图不是同一类对象，对不对得再叫一个 VLM 做法官。图 1 里，光是生成就要 93 到 124 秒。
LGWM 把下一屏预测成向量，全程没有解码器。微调的 DINOv2 ViT-B/14 把 448×224 的截图收成 32×16、共 512 个 768 维 patch。动作编成类型 token 和冻结 MiniLM 的文本向量；落在屏幕上的动作再加坐标 token，其余用离散嵌入。坐标与视觉 patch 共用一套二维正弦位置编码，触点和它覆盖的 patch 带着同一种位置进入预测器。12 层 Transformer 输出下一屏的整张表征。预测和观测同空间，校验不必再找法官。
这是 JEPA 倒过来用。JEPA 里预测头多半是学编码器的垫脚石，测完即弃。这里交付的就是预测。目标来自编码器的 EMA 副本，停梯度，没有语义标签。
点击通常只动一小块，均匀损失会被静止边框淹没。图像对给出无类别的 patch 变化掩码，变化处 Smooth-L1 权重为 8。VICReg 约束方差与协方差，防止余弦差集体变小。逆动力学头从前后帧反推动作，逼表征记住是哪个动作造成的变化，否则劫持屏和另一个动作的合法结果会混在一起。三万步后，部分 batch 做两到三步自回归。
数据共 1,845,659 条真实转移，AITW、MiniWoB++、GUIOdyssey、AndroidControl、AMEX 约占 55%、25%、9.8%、6.9%、3.3%。四张 A100，12 万步，batch 512。训练图 261M 参数，推理 172.86M。
残差等于观测表征减去预测。大小写成无监督完整性分数，1 减余弦，越高越出乎预期，不用攻击标签。方向进线性头，动作只做条件，用来分开有害偏离和无害偏离。推送、转圈、服务端改版都会让模型意外，但不伤用户。线性头是唯一的监督部件，拟合在与测试 episode 不相交的 6,786 条上。
RSWT-BENCH 用 222 对供体把「只看屏幕」钉在 AUC 0.5：同一张凭证屏既是合法结果，又以相同像素出现在无关动作之后。测试集 966 条。三人抽查 72 条，与标签一致率 96.3%±0.8%。
| 方法 | RSWT AUC | 延迟 | 算力 |
| Gemini 3.7 Flash | 0.995 | 未报告 | 未报告 |
| GPT-5.6 Luna | 0.988 | 未报告 | 未报告 |
| LGWM 余弦，无监督 | 0.987 | 17.1 毫秒 | 0.408 TFLOPs，1.09 GB |
| Qwen3.7 Plus | 0.973 | 未报告 | 未报告 |
| gWorld-8B 加 VLM 法官 | 0.885 | 113.2 秒，仅生成 | 74.1 TFLOPs |
| Code2World 加 VLM 法官 | 0.870 | 92.9 秒，仅生成 | 110.7 TFLOPs |
| 只看结果屏 | 0.500 | 不适用 | 不适用 |
222 对里排对 219 对。与 Gemini 3.7 Flash（p=0.07）、GPT-5.6 Luna（p=0.83）、Qwen3.7 Plus（p=0.07）检不出差异。Qwen3.7 Flash 为 0.968，低 1.9 个点（p=0.02）。Swap 与 Cred 为 0.970 与 0.985，前者只低于 Gemini 和 GPT，后者只低于 Gemini。三名标注员在各 20 条上的平均 AUC 为 0.958。
gWorld-8B 与 Code2World 持有同类预期，先渲染，再请 Gemini 3.7 Flash 判断。AUC 低约十个点，生成至少 92.9 秒，FLOPs 至少约 182 倍，法官另计。SAWM 约 1.1 秒，AUC 仍是 0.882。MobileWorld-HTML 为 0.577，接近瞎猜。相对 Qwen3-VL-8B 的 0.907、约 1.1 秒，LGWM 算力少 27 倍，显存少 16 倍，延迟低 64 倍。该 VLM 八路批处理之后，延迟差还有 10.9 倍。
大小分不出伤害。完整性分数的 Harm AUC 为 0.513，提示作答的 VLM 在 0.512 到 0.614。残差方向上的线性头达到 0.953。RSWT 上次序反过来，线性头 0.930，余弦 0.987。
预测与下一屏余弦 0.618，与当前屏 0.245，把当前屏当预测只有 0.230。改动 patch 上 copy score 为 −0.384，越负越靠近未来。约 100 个同源候选中，macro R@1 为 68.3%，记忆基线 44.6%，五个来源都领先。换动作类型、同类型换目标、坐标偏 0.05 的胜率分别为 0.891、0.800、0.618，随机为 0.5。第 10 步余弦 0.562，持久化 0.455，无关屏 0.092。
监督的单帧探针最高 0.796。给了双帧表征和动作、不给预测向量的分类器到 0.833。预测若配到另一次转移，残差头从 0.930 掉到 0.635。
ViT-S、1.5 万步、单种子的消融里，去掉 rollout，十步余弦从 0.612 降到 0.553；去掉逆动力学，相对抄当前屏的优势从 0.286 降到 0.193；去掉 VICReg，有效秩从 43.7 降到 22.5。
GUI 世界模型此前多做模拟或规划。校验是第三种用法：17 毫秒、1.09 GB，每一步都跑得动，渲染和 VLM 只留给被标红的步。同一残差也抓点空、弹窗和改版。准确率与最强闭源 VLM 同一档，省的是延迟和第二个法官。生成式路线差在预期不能直接跟截图做向量比较，于是还得先画出来再评判。
基准严，覆盖窄。凭证屏必须另有一次合法出现，所以只有 222 对，全是构造的页面挪移，不是野外劫持。人类 AUC 只覆盖 40 条。
无监督分数分不开伤害和良性意外，Harm AUC 只有 0.513。线性头做得到，标签却来自这一套定义。换一种有害的划法还成不成立，没有部署数据。
骗过它需要在 agent 的表征空间里伪造下一屏。难度尚未量化。针对编码器的对抗样本没有测。
消融是更小的模型、更短的训练，多数单种子。另有一个三种子对照，种子间方差不大。生成式 AUC 已经包含强法官，延迟多半只计生成。闭源模型的延迟和费用不在同表。第 10 步余弦 0.562，预测还没散，离长程规划仍远。数据是手机和网页界面，桌面计算机使用代理不在主实验里。