RoboFollow: Unveiling the Instruction Following Mirage in Embodied Agents
Chang Guo, Yukun Xie, Bohan Tan, Zheng Chang, Zhaokai Yin, Qianli Ma, Yingqiao Wang, Chao Liang, Zhipeng Zhang
cs.RO
2026-09-22
交大提出 RoboFollow：同一视觉场景挂多条可行任务，九款 VLA 分布内 Intent 接近满分，换位或重组语义后腰斩，换骨干和 CFG 都救不回来。
具身策略现在的成功率和「听懂了指令」经常不是一回事。RLBench、CALVIN、LIBERO 这类操作基准，很多回合里画面已经把任务写死了：桌上就一个杯子，指令再说一遍「拿杯子」，语言几乎是摆设。策略只要认对物体、走完动作，成功率就很好看。
上海交大 AutoLab 把这种结构叫低场景熵：给定初始画面，训练任务标签几乎没有不确定性。他们按同一套任务标签定义算过，LIBERO 四个套件加权后只有 0.880 bit。RoboFollow 把同一画面挂上多条运动上都做得到的任务分支，场景熵拉到 3.782 bit。光看图猜不出该走哪条，语言在这里不再可选。
RoboFollow 是诊断基准，不是又一张刷分榜。
高场景熵：75 个训练任务标签落在 6 组与指令无关的初始场景上，各组任务数是 16、16、16、16、7、4。同一视觉配置对应多条语义不同、运动也可行的分支。训练集一共 3750 条演示。
四级协议：L0 测分布内；L1 指令不变、物体换位，查是不是把词绑到了坐标上；L2 布局不变、把训练见过的属性重新组合，查是不是背了特定文本-物体配对；L3 布局和语义一起扰动。
评分把听懂和手稳拆开。Intent Score 看有没有选对物体、关系、路点或逻辑分支；Execution Score 看选对之后抓放有没有做成。完成阶段占 20 分，做完还乱动要扣分。另报 Completion Rate。
四类场景分别打外在空间关系（左/右/后）、物体固有属性（颜色、尺寸、形状叠上 pick/push/stack/place）、过程约束（路点、末端朝向）、初级逻辑（先 A 后 B、否定、可见条件分支）。
评了九个策略：π0、π0.5、GR00T N1.6、OpenVLA-OFT、XVLA、ACoT-VLA、Lingbot-VLA，以及两个 World Action Model，Motus 和 FAST-WAM。主实验用全部数据微调；机制分析只用 Scene 2 的 16 个任务、800 条演示。
分布内可以很漂亮。π0.5 在 Scene 1/2 的 L0 Intent 是 99.1% 和 100.0%；π0 是 98.2% 和 95.6%；ACoT-VLA 在 Scene 1 L0 打满 100%。把语言整段清空，π0.5 全场平均 Intent 掉到 12.3%。分布内它确实在用语言，只是这种用法经不起换位。
| 模型 | Scene 1 L0 Intent | Scene 1 L1 Intent | 全场平均 Intent |
| π0.5 | 99.1% | 45.5% | 55.7% |
| π0 | 98.2% | 0.0% | 48.4% |
| ACoT-VLA | 100.0% | 8.7% | 53.5% |
| GR00T N1.6 | 71.4% | 0.0% | 32.7% |
| OpenVLA-OFT | 9.8% | 0.0% | 10.7% |
Scene 2 上 π0.5 从 L0 的 100.0% 掉到 L3 的 34.2%。Intent 和 Execution 一起掉，主因是选错了要做什么，不是手抖。
真机小规模试了 π0.5：同一套物体，训练指令 20/40（50%），留出指令 6/40（15%）。两组指令的 pick/stack 组合并不配对，只能当苗头。
Scene 2 的 20 题视觉 QA：PaliGemma 1/20，预训练 π0.5 是 2/20，微调后 3/20。答对的题里，大约一半回合操作仍然做错。换成 Qwen3-VL-4B，QA 到 19/20，接到 GR00T 动作头并做 QA 共训之后，L1-L3 照样塌。LangForce 几乎没动；CFG 把 guidance 加到 1.2 和 1.5，连 L0 都变差，Intent 从 93.6% 掉到 55.9%、43.6%。高熵场景里去掉语言，无条件预测本身就是多峰乱猜，CFG 残差里主要是噪声。
把每任务演示从 25 条加到 50 条、指令改写从 1 条加到 5 条、训练步数从 2k 加到 6k，L0 到 L2/L3 的缺口仍有大约 56 和 48 个百分点。
给做 VLA 的人一条很具体的警告：LIBERO 类榜上的成功率，测的经常是「画面里只有一件合理的事，你把它做完了」。部署时桌上会有多个都能抓的物体，指令会换说法，布局会变。RoboFollow 把这个条件做成训练时就必须面对的歧义。LIBERO-PRO 那条线是测试时再加扰动，两条诊断打的不是同一层。
Intent 和 Execution 拆开也有用。以后只报一个成功与否，分不清是语义错了还是控制差。代码和数据已经公开。
它测的是这份数据上微调之后的指令跟随，不是零样本通用机器人。结论该这么读：现有这套微调配方，过不了高熵诊断。数据分布更宽、训练程序换一套，论文自己没排除还能涨。
作者写得很清楚：物体简单、任务短、接触不丰富，刻意把执行混淆压下去。不覆盖长程规划、接触密集操作、开放词表、大规模真机。对照实验没测「训练时增加布局多样性」；真机试点的两组指令并不配对；也没有跨仿真器迁移结果。
另外两个读下来站不稳的点。一是九个模型都在这份数据上微调，预训练体量和架构缠在一起，不能把「π0.5 比 OpenVLA-OFT 强」读成架构胜利。二是 L1 把物体换位，对只背了坐标的策略确实致命，真实部署的布局变化通常更连续、也更嘈杂，0.0% 这种悬崖有诊断价值，外推要小心。