The Low-Rank Structure of VLA Reinforcement Learning
Minjae Oh, Yoonah Park, Jongwon Lim, Yohan Jo
cs.LG
2026-09-28
π0.5 与 GR00T 上,VLA 的 RL 后训练更新高度低秩且集中在占 27% 参数的 Timestep 模块;只留它的更新几乎不掉点,推理期沿 shift 方向调控还能再涨 2-4 个点。
机器人领域的 VLA(vision-language-action,把相机画面和语言指令直接变成动作的模型)已经照着 LLM 的路线走:大规模预训练之后,再用 post-training 对齐具体任务。高质量演示数据贵,于是 πRL、RLinf 这类工作改用 RL 在仿真器里直接练。LLM 那边对 RL post-training 早就有一层参数空间的认知:更新稀疏、集中在小子网络、结构低秩,这些结论直接改写过训练配方。VLA 的 RL 把学到的东西写进了哪些参数,此前没人系统回答。
这个空缺有实际代价。VLA 做 RL 普遍用 LoRA 控显存,targetmodules 按 LLM 习惯勾选 attention 和 FFN 投影。如果 RL 的收益其实落在别处,这套配置就在错误的参数上花预算。首尔大学这支团队给出的答案:收益大头落在 action expert 里一个此前被忽视的小组件,Timestep Modules,而主流 LoRA 配置(包括 RLinf 的默认值)恰好不带它。
分析材料是 BC 与 RL checkpoint 相对基准权重的参数差,覆盖 π0.5、GR00T N1.5/N1.6、SmolVLA 四个 flow-based VLA 和 LIBERO、ManiSkill、MetaWorld、CALVIN 四个操作 benchmark。两个测量:update density(变化幅度超过 10^-5 的参数占比)和 effective rank(解释更新 95% 能量所需的最少奇异方向数)。
被盯上的 Timestep Modules 属于 action expert(专门生成连续动作的子网络),负责把去噪时间步 τ 编码成 scale、shift、gate 三个调制向量;π0.5 里由 Time MLP 和 AdaRMS 组成,只占 action expert 参数的 27.58%。这些向量只依赖 τ,固定 K 步去噪就只产出 K 组,与图像、指令、任务进度无关。论文用三步解剖:
模块置换的核心数字(成功率 %,LIBERO 为三个子集平均):
| 设置 | Base | 完整 RL | 只留 Timestep Modules | 只留 MLP+Attn |
| π0.5 LIBERO | 87.7 | 96.5 | 95.1 | 90.5 |
| π0.5 ManiSkill | 42.2 | 89.1 | 87.5 | 49.4 |
| π0.5 MetaWorld | 42.8 | 69.2 | 69.6 | 54.6 |
| π0.5 CALVIN | 61.8 | 87.7 | 87.0 | 62.7 |
| GR00T N1.6 LIBERO-Spatial | 75.6 | 85.0 | 84.8 | 84.6 |
| GR00T N1.5 LIBERO | 54.4 | 90.3 | 61.3 | 57.9 |
π0.5 上,只保留占 27.58% 参数的 Timestep Modules,四个 benchmark 有三个只比完整 RL 低 0.7-1.6 个点,MetaWorld 反而高 0.4;反过来只留 attention/FFN,ManiSkill 掉 39.7 个点,六项平均落后 5.4 对 19.7。秩的对比更极端:RL 下 Timestep Modules 的 effective rank 只有 6-30,BC 下是 250-650,差一个数量级,attention/MLP 在 RL 下依旧高秩。SVD 置换继续收紧证据:π0.5 的 Timestep Module 更新只留 top-4 奇异方向几乎不掉点,删掉这 4 个方向,6 个 benchmark 有 5 个掉到 base 以下。
成因落在训练信号的采样上。RL 只在离散时间步上更新,AdaRMS 因此特化到这几个 τ;只用离散时间步训的 BC 出现同样的低秩,说明主因是离散时间步训练本身。把同样的分析放到 RL 过的图像/视频生成模型(FLUX+DanceGRPO、Wan2.2 等)上,timestep 相关模块的更新要占 29-80% 的可用秩,看不到这种低秩。现象是 VLA 动作策略特有的。
三个输出里,shift 变化最突出:scale 和 gate 基本沿原方向缩放,shift 引入新方向。把 shift 更新方向当探针,隐状态投影值能预测 episode 成败,base policy 上五个 benchmark 有四个 ROC-AUC 在 98.6-99.6(随机标签对照约 50),RL policy 上多数超过 90(LIBERO-Goal 例外,68.0)。shift 更新之间的两两相似度与任务间迁移模式正相关,逐任务 Spearman 均值 0.504、最高 0.794。沿这些方向做推理期自适应 steering,五个 benchmark 全部再涨 2.0-4.0 个点(LIBERO-Spatial 86.7→90.0,Goal 90.7→94.7),优于等范数随机方向;直接 steering 没经过 RL 的 base policy,能找回 RL 提升的 46-90%。
还有一条实操结论:LoRA 只挂 Timestep Modules,比标准挂法(attention+FFN)收敛更快、终值更高,LIBERO-Spatial 上第 40 步 92.0% 对 89.4%,第 100 步 93.0% 对 91.4%。
对正在跑 VLA RL 的团队,最直接的行动项是改 LoRA 配置,把 Timestep Modules 加进 target。置换、SVD、靶向 LoRA 三条证据指向同一处,这部分扎实。
认知结论分量更重:这个设定下 RL 学到的东西,大部分可以写成「每个去噪步上的一小组固定调制向量」,与观测和指令无关。这呼应了 LLM RL 里小子网络就够的发现,也给 residual RL、在冻结 VLA 外挂轻量可训模块的做法一个参数层面的解释:全参数 RL 大体归结为低秩调制,小模块自然够用。shift 方向能预测成败、刻画任务关系,等于附送一个失败检测器和一套任务迁移度量。这是一篇分析型论文,不追 SOTA,这类结构性发现通常比榜单名次耐久。
GR00T N1.5 是明显例外:只留 Timestep Modules 从 90.3 掉到 61.3,损失 29 个点,「大头在 Timestep Modules」在这个模型上不成立。论文没有解释,只提到官方 checkpoint 存在浮点数不匹配,分析用的是自训的短程 RL。N1.6 上两个置换方向都几乎不掉点(差 0.2 与 0.4),组件近乎冗余,机理同样没讲清。
全部实验在仿真环境,RL 是 PPO 加 150-320 步交互的短程训练;真机、更长训练、其他算法未验证。steering 的 2-4 个点不用再训 RL,但要先训 probe 选 sublayer-timestep 对,steering 强度 α 还得逐 benchmark 调。另有一点保留:attention/MLP 的高秩更新在 π0.5 LIBERO 上单独保留仍有增益(90.5,base 87.7),它们编码了什么,这篇没有回答。