NTU 提出 LGWM:世界模型当验证器,识破 GUI Agent 被劫持界面

Jiaming Zhang · hf · 2026-10-22

南洋理工大学联合东京科学大学与 Sony AI 提出 LGWM,一个无解码器、以动作为条件的 GUI 世界模型,直接在观测表征空间预测下一屏表征,用 185 万条真实 GUI 转移训练,无需语义标注。核心观点:GUI agent 的安全是「转移」的属性而非「屏幕」的属性——登录页出现在点击 Sign in 之后是正常的,出现在点击 View order 之后就是攻击。验证被简化为向量比对,同一信号还能判断不匹配是否有害。团队还发布 RSWT-BENCH 诊断集,其中凭据屏幕在合法与被劫持转移下都出现,只看屏幕的检测器只能得到随机水平的结果。