The Gaussian Is Enough: Flow-Matching Priors Do Not Help When Fine-Tuning Large Behavior Models
Chen Xu, Rishi Shah, Hadas Kress-Gazit, Haruki Nishimura, Masha Itkina
cs.RO, cs.AI
2026-09-23
丰田研究用超十万次仿真与 1250 次真机实验表明，微调 LBM 时更近的非高斯动作先验并不优于高斯；从零训练时有效，编码器学习率才是微调主导因素。
扩散策略与流匹配策略把动作生成写成一次运输：从先验分布抽样本，再运到条件于观测的目标动作分布。从零训练单任务策略时，把标准高斯换成更接近目标的非高斯先验，已经在 LIBERO、MetaWorld、Adroit 上被反复证明能抬成功率。
大行为模型（Large Behavior Models, LBM）走的是另一条路：先在多样视觉、语言和机器人数据上预训练，再在少量任务演示上微调。LBM 1.0、π0.5、GR00T N1.5 默认都用各向同性高斯。流匹配本身对先验没有分布假设，换先验不改训练管线。直觉是先验离目标更近，速度场只要走更短的路，微调就该更容易。丰田研究院、Woven by Toyota 和康奈尔把这个假设放到预训练 LBM 上，得到的是负结果。
只换先验，任务、数据、架构、优化器和微调步数一律锁死。七种先验包括默认高斯 Z、三种直接从冻结预训练 LBM 构造的先验，以及文献里的 Cocos（条件高斯）、BRIDGER（CVAE）和检索 k 近邻。自提的三种是：Apre，用冻结预训练策略跑一半去噪预算得到的动作块；Apre 加动作空间高斯抖动；以及在编码器嵌入上加噪后再送进预训练策略。
四组实验覆盖设计空间。Setting A 先把 LBM 1.0 用高斯在 50% 数据上微调出一份更接近目标的检查点，再把它当「预训练模型」做第二轮微调，专门排除「零样本先验太差」的混淆。Setting Bsim 按标准部署流程，在 8 个预训练未见过的 LBM Eval 任务上扫 5%、25%、50%、75%、100% 数据。Setting Breal 在双臂 Franka FR3 上做盲测 A/B。Setting C 把 π0.5 和 GR00T N1.5 放到 RoboCasa 的 34 个任务上。统计用 STEP 框架和 Bonferroni 校正，方法之间用 compact letter display 标是否可分。
从零训练时，先验确实有用。Setting A 里 Apre 平均成功率大约 28%，高斯大约 18%，且统计可分。Apre 到真值动作的 ℓ2 距离也大约是高斯的三分之一。
同一套先验一旦进入微调，优势消失。Setting A 七种先验在微调后与高斯无法区分，Apre 经验成功率还落到最差一档。Bsim 在 25% 及以上数据上，多数先验挤在同一字母组。唯一例外是 5% 数据（大约每任务 10-20 条演示）：嵌入加噪先验成功率 25.9%，高斯 18.9%。真机 1250 次 rollout 里，四种先验的部分任务进度落在 71-77%，只有训练不稳定的 BRIDGER 掉到约 56%。RoboCasa 上高斯与「Apre 加动作噪声」并列最好，纯 Apre 和检索更差，尽管 Apre 在 ℓ2 上仍大约近 3 倍。
诊断把原因指到编码器。微调后各先验的 LogME 特征质量分不开；开环动作 ℓ2 落在 5.7-6.4，余弦相似度均值大约 0.79-0.83，这点开环差距撑不起闭环成功率差。嵌入空间却散开了：高斯与预训练嵌入的余弦大约 0.84，Apre 只有 0.55-0.64。把编码器学习率降到动作头的十分之一，仿真成功率从 56-59% 掉到 41-43%；真机高斯先验从 37% 掉到 28%。同一学习率档内，换先验几乎没有差别。
微调带流匹配动作头的 LBM 时，标准高斯已经够用。为更近的先验加工程复杂度，换不来可测收益。该花钱的地方是编码器有没有被认真训起来。从零训练的单任务策略不受这条负结果保护，文献里的非高斯先验在那里仍然成立。5% 数据那一档提示：演示极少时，嵌入空间的扰动可能补上高斯给不了的归纳偏置，边界还没有画清。
结论只覆盖三个 LBM，不能外推到容量差一个数量级、或预训练分布很特殊的模型。微调集大约每任务 20-400 条演示，更大更杂的微调数据会不会让先验重新有用，没有验证。「编码器主导先验」在其他尺度上也还是假说。LogME、ℓ2 和余弦是迁移学习里的常用探针，LEEP、H-Score 没做。BRIDGER 的 CVAE 在仿真和真机上都出现过 NaN，稳定种子才进评测。π0.5 与 GR00T 主要在真机数据上预训练，纯依赖冻结策略的 Apre 和检索会被域差打到，高斯和加噪先验受影响更小。