一张图测八款 VLA:仅 3 个答对,ERQA 基准遭质疑题目本身存疑
giffmana · x · 2026-11-22
Ville Kuosmanen 指出 ERQA(具身问答基准)的部分题目本身有问题:一道「机器人夹爪该往哪擦桌渍」的单图题,图中黄蓝曲线颜色甚至标反了,让人怀疑这类数据集能否真正评估具身推理能力。
他晒出的对比图显示,同一道题测八个 VLA,只有 WALL-OSS flow、MolmoAct2、WALL-OSS 0.5 答对,OpenVLA、π0、π0.5、GR00T N1.7、G0.5 全部答错,其中多个模型的输出甚至退化为乱码文本。作者认为这是评估具身推理能力时需要警惕的基准质量问题。
「具身」频道最新
- Tesla FSD 15 曝光实时内部视觉:AI 自己生成的合成世界观 — mark_k · 2026-11-22
- World Robotics 2026:中国占全球新装工业机器人 59%,约 35.4 万台 — ingliguori · 2026-11-22
- Apple Watch 洗澡一次就卒,百元 Keep 手环洗 N 次无恙 — oran_ge · 2026-11-22
- 特斯拉 FSD V15 可视化爆火:精细 3D 夜景渲染引热议 — DimaZeniuk · 2026-11-22
- 六年对比图:特斯拉 FSD 可视化从点线进化到逼真 3D 夜景 — XFreeze · 2026-11-22
- YQ Bionics 推出 38 自由度灵巧手 Y-Hand M2,让 AI 获得物理交互能力 — CurieuxExplorer · 2026-11-22