VA-Bench:模型定位目标近满分,全任务成功率却只有约一半
jiqizhixin · x · 2026-10-12
VA-Bench(Vision-Action Benchmark)用于衡量具身空间智能,结果揭示出明显的「执行鸿沟」。
- 目标定位:最强模型达 100%;操作语义理解:99.6%–100%。
- 但全任务成功率仅约一半:Qwen3.8-max 53.93%、Opus-5 52.86%、GPT-5.6-sol 51.55%。
- 子任务完成率可达 65.9%–68.6%,但把各环节串成闭环后就崩了。
VA-Bench 把空间智能放进完整的 Observe → Reason → Act → Revise 闭环,主张真正的物理空间智能不应止步于回答一个预设的空间问题。结论是「理解」与「执行」并不等同:模型能识别目标、解析指令,却在需要感知与移动时失败。
「具身」频道最新
- 北大等发布 EmbodiedCLBench:首个具身持续学习基准 — PKU-VaLuE-Lab · 2026-10-12
- 丹麦 Hive Robotics 训练 Unitree G1 超市补货,2027 年初全自主 — Distinct-Question-16 · 2026-10-12
- 穿动捕服跑步采数据:从概念到产品只用一周 — nick_linck · 2026-10-12
- 机器人圈泼冷水:30 条 demo 训出的 VLA 只是视觉伺服 — KyleMorgenstein · 2026-10-12
- 树莓派跑通语音+人脸识别+机械脸,下一步攻克麦克风阵列降噪 — natesiggard · 2026-10-12
- RoboWorld Challenge 2026 启动:考察世界模型的预测与安全行动能力 — liuziwei7 · 2026-10-12