AgentVQA 基准发布：1000 个人工核验样本离线评测视觉智能体
liuzhuang1234 · x · 2026-10-24
Advait Gupta 等发布 AgentVQA，目标是无需运行昂贵的在线任务即可离线评测视觉智能体。基准包含 1,000 个来自真实智能体场景的挑战性样本，全部经人工核验，覆盖 5 个领域：网页智能体、机器人、游戏、第一人称视频和空间规划，例如网页上定位 CAPTCHA 输入位置、机械臂抓取物判断、Mario 死亡次数统计、机场航站楼路线规划等。为视觉 agent 的离线评测提供了统一基准。
所属事件:AgentVQA 基准发布：千例人工核验样本离线评测视觉智能体(2 条相关)→
「研究」频道最新
- EMNLP 2026 论文 HarmAmp：LLM 多轮对话如何放大危害，及主动干预监控器 TrajSafe — alan_ritter · 2026-10-24
- 追踪 2.7 万中国学生 30 个月：用 AI 写作业提分 18%，闭卷考试成绩反跌 20% — lmoroney · 2026-10-24
- 6K 参数检测器:HoliSafe 错误率最高降 92%,OOD 攻击归零 — shangbinfeng · 2026-10-24
- 无害图+无害问句也能组合出有害请求,现有防线全部失守 — shangbinfeng · 2026-10-24
- Fireworks 揭秘如何在 2.8T 参数 Kimi K3 上跑通强化学习训练 — sophiamyang · 2026-10-24
- 圣塔菲研究所 Eric Smith：别急着认定 AGI 是「活的生命」 — danfaggella · 2026-10-24