LeRobot 默认微调 VLA,79% 更新被 bf16 静默抹掉

Full-Weight VLA Fine-Tuning Without an fp32 Master Copy Silently Erases Most Updates

Shubham Singh

cs.RO

2026-10-23

9/12 开源 VLA 代码库微调时权重存 bf16 且无 fp32 副本,多数更新被舍入抹掉;补上副本后 LIBERO 成功率最多升 75 点。

这篇在解决什么

微调 VLA(把图像和语言指令直接映射成机器人动作的视觉-语言-动作模型)已经是机器人学习的常规操作,LeRobot、openpi、OpenVLA、RLinf 都有现成入口。为了省显存,其中一些库在构建优化器前就把可训练权重转成 bf16(16 位浮点,只有 8 位有效数字)。问题出在后面:PyTorch 的 AdamW 随之把动量也存成 bf16,并把每步更新直接加进 bf16 权重。标准混合精度训练会保留一份 fp32 主副本(权重以 32 位精度保存,只在计算时降到低精度),没有这份副本,小于权重约 1/512 的更新会在舍入时归零。

微调学习率通常在 1e-5 到 1e-4,AdamW 的单步更新比学习率还小,于是大量更新无声消失:不报错,loss 照样下降,模型就是学不进去。这篇论文量化了损失、审了生态,修复只要一行代码。

方法

证据分三层,从数值机制到真实训练。

在此之上是两项审计。12 个开源 VLA 代码库按固定 commit 核查,9/12 的默认或文档配方无副本存 bf16,其中 4 个训练全权重矩阵,按学习率算出的下界从 12%(LeRobot 的 SmolVLA)到 94%(RLinf 的 PPO 配方)不等;GR00T、CogACT、openpi 的 JAX trainer、OpenVLA 全参微调不受影响。运行时检查抓到一个读代码看不出的坑:SmolVLA 默认配方代码上像安全的,实际 99.9M 可训练权重里 96.6M 存在 bf16,因为 action expert 从携带 bf16 的 VLM config 构建,--policy.dtype=float32 传了也被忽略;π0/π0.5 配置默认 fp32,但官方微调指南的命令加 --policy.dtype=bfloat16,3.61B 可训练权重落进 bf16。

Hub 审计不下载模型、只读文件头。抽样 300 个 SmolVLA 微调,存全权重 action expert 的 289 个里 99.3% 是 bf16;近八周带训练配置的 300 个 π0.5 微调里 84% 设了 bf16 标志。40 个 bf16 微调中,六个 expert 权重矩阵中位数 22% 的元素训完后与底座逐位相同,从零训练的对照是 0.1%。

结果

主实验在 LIBERO-Object 上,SmolVLA 训 10,000 步、π0.5 训 2,500 步,唯一变量是可训练权重的存储方式,500 次固定初始状态打分,「差距 ≥10 个点才算大效应」的规则在开跑前写死。

模型与设置bf16 无副本fp32 副本差距
SmolVLA,lr 1e-4(默认),开环 50 动作59.3%69.5%+10.2
SmolVLA,lr 1e-54.3%49.3%+45.1
SmolVLA,lr 1e-4,每 10 个动作重规划88.4%92.6%+4.2
π0.5,lr 2.5e-5(默认)89.0%97.7%+8.7
π0.5,lr 2.5e-65.1%80.9%+75.8

表中数字都对 LeRobot 的默认配方;对全 bf16 存储的另外两组对照,差距是 +14.3 和 +49.2。七组对照中带副本的每次运行全胜,配对 McNemar 检验 p 值最低小于 1e-12;除 +8.7 和 +4.2 外都跨过 10 点线。探针实测抹除率:lr 1e-4 时 79–99%,1e-5 时 96–99.95%;带副本时单步未变元素最多 0.2%。

loss 曲线毫无征兆:默认学习率下三种设置的最终 loss 是 0.30、0.29 对 0.26,成功率差 10–14 个点;低学习率下无副本的 loss 仍在缓慢下降。两组低学习率设置本身欠训练,带副本的成绩也比各自默认学习率低 17 和 20 个点。全部租用算力约 110 美元。

为什么重要

按官方指南微调 VLA 的人值得先跑一行自查:{p.dtype for p in model.parameters() if p.requiresgrad} 出现 torch.bfloat16 就是中招。修复是把可训练权重留在 fp32、计算用 bf16 autocast:SmolVLA 在 LeRobot 里改一行 dtype,峰值显存多 0.8GB;π0/π0.5 传 --policy.dtype=float32 并加 --accelerator.mixedprecision=bf16,fp32 权重加 AdamW 状态在 80GB 卡、batch 32、梯度检查点下峰值约 75GB。诊断也便宜,E(η) 从发布的权重几分钟算完。两个注意点:副本让实际步长变大,在 bf16 下调好的学习率可能要降,论文引了两例 RL 里维持原学习率而崩溃的单种子报告;LoRA 在默认 2–5e-4 学习率下更新能存活,基本不受影响。

局限与存疑

作者自己列得很全:证据面窄,两个模型、一个 LIBERO 套件、每设置两到三个种子、缩短的训练日程,SmolVLA 主要按开环 50 动作块打分;没做「抹掉的更新」与「bf16 动量」的消融;其他 VLA、任务、日程未测。SmolVLA 的 scorer 校验未完全通过,官方 checkpoint 打出 67.6%、低于预期的 88%(每 10 个动作重规划时回到 93.4%,缺口在动作块而非仿真器),所以 SmolVLA 的成功率只能做文内比较。预登记是个人日期日志而非外部注册,部分检验是打分后补的,论文有披露。

两个最大差距(+75.8、+45.1)出自调低十倍学习率的欠训练设置,默认学习率下是 +10.2 和 +8.7,一个刚过线、一个略低。跟着官方指南用默认学习率的人,最贴近的数字是 π0.5 的 +8.7,消掉了 79% 的失败。训练好的 checkpoint 未保留,代码和日志要向作者索取。

术语

原文与代码

社区讨论

相关论文

全部论文解读