UI2App 显示截图还原远落后于真实交互恢复
Grace Man Chen · hf · 2026-07-22
UI2App 基准：截图像了，不等于交互做对了
UI2App 是一个针对可执行 Web 应用生成的视觉交互推理基准：只给截图、不提供文本或行为提示，模型能不能把应用行为还原出来？
基准设计
- 数据集包含 327 张截图，整理成 45 组状态一致的截图集合。
- 目标是可运行的多路由 Web 应用。
- 评测四个维度：可执行性、导航可达性、视觉保真度、交互推理。
- 作者还设计了一个新的指标 IIS，重点衡量模型是否正确推断功能性交互和状态管理，而不是只对齐唯一参考答案。
主要发现
- 在 6 个前沿视觉语言模型里，视觉保真度最好的模型，IIS 只拿到 7.5，排名第四。
- IIS 第一名比它高 5.2 倍。
- 尤其是跨页面状态这类高复杂度交互，仍是明显瓶颈；有一半模型在这个维度上得分为 0。
这项工作说明：把页面“看起来复原”与把应用“行为复原”是两回事。
「研究」频道最新
- 开源 VRChat 高斯溅射新版本：支持亿级渲染 — Michael_Moroz_ · 2026-07-22
- AI 发展的瓶颈：从互联网数据红利到高质量反馈闭环 — dyamins · 2026-07-22
- NVIDIA 公布 22 篇 SIGGRAPH 论文与机器人仿真工具 — facontidavide · 2026-07-22
- Nat Lambert 分享合成数据与智能体 SFT 阅读清单 — natolambert · 2026-07-22
- Lightwheel AI 推出 SimReadyGen：文本生成物理级机器人仿真资产 — ZeYanjie · 2026-07-22
- PNAS 专题讨论版权、治理与 AI 法律系统 — chrmanning · 2026-07-22