Salesforce 发布 IVG：315 个模拟场景测视觉 AI 助手，最佳模型仅完成 53.4%

jcniebles · x · 2026-11-10

Salesforce AI Research 与华盛顿大学发布 Interactive Visual Gym（IVG），一个闭环评测与训练视觉交互模型的开源仿真框架。要点：- 构建烹饪、家务、手机操作三个模拟器，配合带人设的模拟用户（会犯错、提问、响应指导），实现真正闭环评测，弥补现有离线回放基准的不足；- IVG-Bench 含 315 个交互场景，测 14 个助手模型：最强模型 Gemini-4-Argon 仅在时限内完成 53.4% 任务，在事实接地、可执行指导上明显薄弱，考虑响应延迟时往往来不及阻止错误；- 模拟器评分与人类偏好约 80% 一致（人类研究 78.5%）；- 用模拟器训练可将 4B 开源模型的成功率从 33.3% 提到 42.2%。