KAIST 潜空间世界模型让 GUI 智能体成功率提升 40.6%
kaist-ai · hf · 2026-10-14
KAIST 提出潜空间世界动作模型（Latent World Action Model），改进 GUI 智能体的像素空间世界模型范式。
- 问题：像素级「先预测未来屏幕再重新感知」成本高，且需重建大量与动作选择无关的外观细节，还易出现 identity shortcut——预测基本复刻当前屏幕而非捕捉动作引起的变化
- 方法：把预测目标从全屏重建转向潜空间中动作引起的未来信息；用一个大型多模态模型做潜空间世界模型，共享表征上接动作选择与转移预测两个头，并加入动作感知对比目标对抗 identity shortcut
- 结果：离线与在线 GUI 设置下，成功率较像素空间世界模型分别最高提升 31.9% 和 40.6%，推理延迟最高降低 98.9%
代码已开源（sjyu001/latent2world）。
「编程与Agent」频道最新
- Tripo P2.0 配 Charakuru 免费套件：一张图生成可动画 3D 角色 — Aiden_Tech_Ai · 2026-10-14
- 从零学 AI 工程的 9 个 GitHub 仓库：ML 入门到 LLM 实战全覆盖 — thisguyknowsai · 2026-10-14
- GLXYMESH 发布：YAML 定义 MCP 工具，本地测试一键部署托管服务 — glxymesh · 2026-10-14
- Teknium 晒 Hermes Agent 插件玩法：说一句需求自动生成插件 — Teknium · 2026-10-14
- 社区为 Hermes Agent 打造 redline 插件,边聊边审 AI 写的代码文档 — Teknium · 2026-10-14
- 客服 Agent 护栏怎么选:NeMo、Bedrock 与 Alice 对比思路 — WolfShoddy7443 · 2026-10-14