一张图测八款 VLA:仅 3 个答对,ERQA 基准遭质疑题目本身存疑

giffmana · x · 2026-11-22

Ville Kuosmanen 指出 ERQA(具身问答基准)的部分题目本身有问题:一道「机器人夹爪该往哪擦桌渍」的单图题,图中黄蓝曲线颜色甚至标反了,让人怀疑这类数据集能否真正评估具身推理能力。

他晒出的对比图显示,同一道题测八个 VLA,只有 WALL-OSS flow、MolmoAct2、WALL-OSS 0.5 答对,OpenVLA、π0、π0.5、GR00T N1.7、G0.5 全部答错,其中多个模型的输出甚至退化为乱码文本。作者认为这是评估具身推理能力时需要警惕的基准质量问题。

原文链接 →

「具身」频道最新

更多「具身」频道 AI 资讯 →