RoboFollow 基准揭穿机器人「听懂指令」幻象：9 个 VLA 模型全失守
AutoLab-SJTU · hf · 2026-09-23
上海交大 AutoLab 发布 RoboFollow 诊断基准，指出具身智能体的指令遵循能力远低于成功率数字所暗示的水平。
- 根因：「低场景熵」——当视觉场景只有一个有效任务时，语言变得冗余，策略不看指令也能得高分，造成「听懂了」的错觉。
- 基准设计三原则：高场景熵（每个场景含多条运动学不同的任务分支，迫使模型依赖语言）；四级（L0–L3）分层扰动诊断协议；混杂控制（分离意图理解与动作执行得分）。
- 关键发现：评测 9 个 VLA 与 WAM 策略，L0 上表现强并不能可靠迁移到 L1–L3；更强 VLM 骨干、QA 共训练、LangForce、Classifier-Free Guidance 等缓解手段均无法弥合差距。
- 代码与数据集已开源（GitHub / HuggingFace）。
「具身」频道最新
- NVIDIA 发布开源 GR00T 2：真实灵巧手全自动完成化学实验 — EricBuess · 2026-11-11
- CoRL 2026：Russ Tedrake 主题演讲被称为机器人创业必修课 — adnothing · 2026-11-11
- 开源机械臂制作日记 Day 7:齿轮传动 CAD 细节与抓手指设计 — _Stocko_ · 2026-11-11
- Perceptron AI 发布 EgoHome 基准:测 AI 能否读懂 Chore 视频里的手部动作 — rohanpaul_ai · 2026-11-11
- Runway 开源 Praxis-1:视频预训练变机器人真机控制 — runwayml · 2026-11-11
- 宇树 G1 人形机器人戴 VR 眼镜操控 A1 无人机演示空地协同 — CyberRobooo · 2026-11-11