Sensorimotor Alignment: A Platonic Proxy for Embodied Policy Success
Yunfei Xie, Howard H. Qian, Shiyi Lan, Kaiyu Hang, Chen Wei
cs.CV, cs.LG, cs.RO
2026-10-23
免训练指标 S² 度量感官表征与机械臂轨迹几何的对齐度，在 VLA/VLM/WAM 与真机策略上均与任务成功率正相关，真机 r=0.83,可在线下先筛模型。
机器人基础模型至今只有一条可靠的评测路径：放进仿真或真机跑闭环 rollout,数成功率，慢、贵、噪声大。便宜的替代指标测的又是别的东西：VQA 分数测语言感知，FID/SSIM/PSNR 测生成视频的像素质量，都不回答「表征是否为动作组织」这件事。画面差异很大的两个场景可能要同一条轨迹，看起来像的反而要不同动作。
Rice 与 NVIDIA 这篇把 Platonic Representation Hypothesis(PRH,表征柏拉图假说)搬进机器人。PRH 说，不同模态的模型随能力提升会各自收敛到对同一现实的共享统计模型，图像与文本是这个现实的两个投影。论文问：机械臂轨迹是不是也是现实的一个投影，以至更强的具身模型，感官表征的几何会更贴近运动的几何？
S² 免训练，在参考数据集(DROID 或 BridgeDataV2)上前向一遍就能算：
直觉：模型觉得相似的 episode 运动起来也相似，两边邻居集重合，S² 就高。负对照显示这个指标认具身形态：给双臂 WAM 换单臂参考数据集算，与成功率的相关从 +0.999 掉到 +0.246,不是无差别报高分。
| 对象 | 指标 | 数值 |
| 12 个 VLA(Pi0、SpatialVLA、GR00T、CogACT 等)，SimplerEnv | S² 与成功率 Pearson r | +0.717(p=0.004,95% CI [0.436, 0.912]) |
| 8 个原始 VLM,微调成 VLA 后 | S² 的 r / VQA 的 r | +0.681 / −0.154 |
| 6 个 WAM,RoboTwin 2.0 | S² 的 r / SSIM / PSNR / FID | +0.718 / +0.558 / +0.468 / 方向相反 |
| 5 个真机策略，40 个任务(MolmoBot 统一设定) | S² 与成功率 r | +0.831(p=0.041) |
换参考数据集(DROID 与 BridgeDataV2 都在 0.7 附近)、换轨迹视野(DROID 上 h 到 220 仍 r>0.5),相关保持。三个能生成视频的 WAM 上，S² 恢复成功率排序达 r=+0.999;同组的 SSIM(p=0.311)、PSNR(p=0.345)、FID(p=0.262)全不显著，FID 还是反的：视频质量越高，成功率越低。
S² 另有四个表征层面的解释：
最直接的用途是省钱的排序：VLM backbone 在花大价钱微调成 VLA 之前先用 S² 过一遍，比看 VQA 分数靠谱得多，后者与最终成功率的相关是 −0.154。要跑闭环评测的团队多了一条先筛通道，把 rollout 预算留给少数候选。第二是诊断：模态主导、冻结 encoder 掉点、跳去噪、中层重要性，四个此前只有行为证据的设计问题现在有同一把尺子。学术上，这是 PRH 第一次被推进到动作模态，答案干净：运动可以当现实的又一个投影用。
作者自己列了三条：只有相关性，没证明拿 S² 当训练目标能涨成功率；S² 相近的模型成功率仍可能差很多；覆盖的家族、benchmark、训练配方有限，每组比较只有几个模型，真机只有一个设定。
样本量是最扎眼的：8 个 VLM、5 个真机策略、6 个 WAM,p 值普遍贴着 0.05(WAM 那组 p=0.054,严格说没过显著线)，r=+0.999 只来自 3 个模型，三点定一条直线。各家族 S² 的绝对量级不同(VLA 约 0.015 到 0.045,WAM 约 0.05 到 0.25),只能同家族内比。真机相关最高(0.831),但出自单一实验室的统一协议，换环境能不能保住，论文没有答案。