新论文量化 VLA 样本效率:π0.5 所需演示比 GR00T 少 2-5 倍
论文《How Many Demonstrations Does a VLA Need?》系统研究了视觉-语言-动作模型(VLA)的样本效率问题:学习一个新任务究竟需要多少条演示数据、多少训练步数才能达到可用成功率。作者团队对 Physical Intelligence 的 π0、π0.5 及 GR00T N1-N1.7 共 6 个模型在 4 个 LIBERO 套件上进行了微调基准测试,给出量化答案。
已确认
- 系统评测 6 个 VLA 模型(π0、π0.5、GR00T N1 至 N1.7)在 4 个 LIBERO 任务上的微调样本效率
- π0.5 在全部四个 LIBERO 任务上最省样本:达到相同或更高成功率所需的演示数据比 GR00T N1.7 少 2-5 倍,也比 π0 少 2-5 倍
- LIBERO-Long 上 π0.5 用 25 条演示达到 64% 成功率,超过 GR00T N1.7 用 100 条演示取得的 52%
- 有足够演示时各 VLA 均能达到较高成功率
- 反直觉发现:GR00T N1.7 的 zero-shot 成绩优于 N1.5 和 N1.6,但在低演示预算下 N1.5 始终适配更快且成功率更高,说明 zero-shot 排行榜成绩不能预测样本效率
- 消融实验:微调时冻结 VLM 主干会使 π 系列损失 23-56 个成功点,而 GR00T 最多变化 6 个点,说明两类模型对 VLM 主干微调的依赖程度差异巨大
尚未确认
- 作者 rahulshivchand 在回复网友时承认,目前评测仅在 LIBERO 仿真基准上完成,其他仿真任务与真实机器人上的验证仍在进行中
为什么重要
- 演示数据采集成本高,样本效率直接决定 VLA 落地到新任务的成本;该工作首次给出「多少条演示才够」的量化对比,显示 π0.5 这类持续改进的模型在数据效率上有代际优势
- zero-shot 排行榜不预测适配效率这一结论,对社区仅凭榜单选型是一个警示;冻结 VLM 主干的差异也为部署时是否解冻主干提供了实证依据
- 但结论目前限于仿真,能否迁移到真机尚待验证
2026-11-11 ~ 2026-11-11 · 8 条相关
一手来源
- VLA 微调样本效率实测:π0.5 所需演示数据比 π0 少 2-5 倍 — rahulshivchand ·
- 反直觉发现:GR00T N1.7 zero-shot 更强,N1.5 却适配更快 — rahulshivchand ·
- VLA 微调消融:冻结 VLM 让 π 系列掉 23-56 分,GR00T 几乎不动 — rahulshivchand ·
- 新论文基准测试 pi 与 GR00T:VLA 学一个新任务到底需要多少演示数据 — rahulshivchand · 2026-11-11
- π₀.₅ 样本效率数据:LIBERO-Long 上 25 条演示达 64% — rahulshivchand · 2026-11-11
- 【源头】反直觉发现:GR00T N1.7 zero-shot 更强,N1.5 却适配更快 — rahulshivchand · 2026-11-11
- VLA 消融细节:冻结 VLM 主干对不同模型影响差异巨大 — rahulshivchand · 2026-11-11
- 【源头】VLA 微调样本效率实测:π0.5 所需演示数据比 π0 少 2-5 倍 — rahulshivchand · 2026-11-11
- 【源头】VLA 微调消融:冻结 VLM 让 π 系列掉 23-56 分,GR00T 几乎不动 — rahulshivchand · 2026-11-11
- 机器人论文局限:目前仅在 LIBERO 仿真上验证,真机测试进行中 — rahulshivchand · 2026-11-11
另有 1 条近重复转述:k7agar