Interactive Visual Gym：用模拟用户闭环评测和训练视觉 AI 助手
jmin__cho · x · 2026-11-10
arXiv 论文 2611.08286 提出 Interactive Visual Gym（IVG），首个针对视觉交互模型的闭环评测与训练框架，作者含 Silvio Savarese、Ranjay Krishna 等。
- 核心问题：现有 benchmark 依赖预录视频的离线回放，无法衡量助手建议对用户后续行为和任务结果的实际影响
- 三个模拟器：复现烹饪、家务操作、手机界面三类日常任务，动作空间对齐人类
- 用户模拟：带 persona 的模拟用户会行动、犯错、提问、响应指导，还能触发计划外事件
- 规模：评测 14 个视觉助手、315 个场景，最佳模型为 Gemini-4-Argo
- 训练应用：用模拟环境做 RL 训练交互模型，任务成功率和交互质量均提升
论文、项目页与代码均已开源。
所属事件:Salesforce 发布 Interactive Visual Gym 视觉交互模型闭环评测框架(2 条相关)→
「研究」频道最新
- 中国脑机接口设备日用达成 94% 意念打字准确率 — yogthos · 2026-11-10
- Marin 535B-A23B 完成 18T token 预训练，架构决策全文公开 — ChengleiSi · 2026-11-10
- 世界模型学术会议 ICWM 2027 定档纽约，论文截稿 12 月 22 日 — randall_balestr · 2026-11-10
- Berkeley 团队 HuGo 论文入选 CoRL 2026 聚焦,用 LLM 写全身策略代码 — m_wulfmeier · 2026-11-10
- UniWALM：视频骨干一次扩散同时完成规划、记忆与操作 — drsrinathsridha · 2026-11-10
- 多运动相机视频拼接新研究：对齐网络让画面以假乱真 — kwangmoo_yi · 2026-11-10