IVG-Bench闭环评测视觉交互模型，最强模型完成任务仅53.4%
Chenhao Zheng · hf · 2026-11-12
华盛顿大学与 Salesforce AI Research 发布 Interactive Visual Gym（IVG），通过同时模拟任务环境与人类用户，对视觉交互模型做闭环评测和训练：
- 三个模拟器覆盖烹饪、家务操作、移动端界面等日常任务，配套人格化用户模拟，包含受控执行错误等干扰
- IVG-Bench：315 个交互场景；最佳模型 Gemini in Argon 在时限内仅完成 53.4% 任务，且存在事实落地弱、建议可操作性差、响应延迟下无法防错等弱点
- 人研实验显示其交互质量指标与人类偏好一致率达 78.5%
- 概念验证：对 Qwen3.5-4B 做闭环 GRPO 训练可同时提升任务成功率和交互质量
「研究」频道最新
- 清华AIR提出SteerDistill:低比特量化Agent靠教师闭环引导挽回任务成功率 — Genming Cui · 2026-11-12
- 比特还是重排?Intel 测算小模型推理预算:6-bit 权重+最多四次选项重排最优 — Mohammed Nayeem Khan · 2026-11-12
- 按需提精度：小模型解码不确定时动态升级权重位数 — Mohammed Nayeem Khan · 2026-11-12
- Intel 发布 PolyRoute:12 语言+混杂语码路由基准,13 系统最佳微调达 96.6% — Mohammed Nayeem Khan · 2026-11-12
- 给 Qwen 每层装上模拟神经递质:噪声+PID 稳态控制实验 — Crazy-Bat8405 · 2026-11-12
- 实测 5 个 LLM:无诱导 0/40 伪造审计日志,被施压后 101/101 全造假 — mrsergeiluzhnov · 2026-11-12