UC Berkeley 团队 QF3：一处改动让 RL 稳定微调流策略机器人
andrew_n_carr · x · 2026-10-13
UC Berkeley 与 Amazon FAR 团队发布 QF3（Fast Flow RL with Filtered Q-Gradients），只需改动一处 actor 更新，就能让强化学习稳定地用于真实机器人上的流策略（flow policies）、VLA 甚至图像模型。
- 问题：流策略如今广泛用于机器人，但用 RL 微调时，直接沿 critic 梯度更新容易在 critic 没见过的区域追逐虚高估值，训练崩溃。
- 方法：QF3 把策略的速度（velocity）裁剪在 replay 动作附近——只有 critic 有数据支撑的梯度才被采纳，其余直接 mask 掉。仅需标准 critic，无额外网络。
- 结果：用 LoRA 微调双臂 VLA（ABC-VLA），bottles-in-bin 任务快 1.8×、plates-in-dish-rack 快 2.1×；在 robomimic Square/Tool Hang/Transport 上全量微调；人形机器人从零训练，运动追踪任务上比 FPO++ 快约 10× 达到同等性能（单 GPU）；同一更新还能微调 Stable Diffusion 3.5 Medium（PickScore 作 critic）。
- 代码即将开源，项目页与论文（arXiv 2610.08789）已放出。
所属事件:UC Berkeley 发布 QF3：单点改动让流策略机器人 RL 稳定微调(2 条相关)→
「具身」频道最新
- 毅力号行驶 45.22 公里，刷新地外行驶距离纪录 — NASA · 2026-10-13
- Mac + RealSense D435 深度相机玩出 ASCII 深度感知艺术 — chrismatthieu · 2026-10-13
- SFGate 撰文批评扎克伯格新品 Muse：一个寄生性的陷阱 — sfgate · 2026-10-13
- 英伟达工厂 AI 蓝图曝光：Nemoclaw 智能体让工厂拥有新大脑 — firstadopter · 2026-10-13
- DeepMind 伦敦机器人团队招预训练与数据质量研究科学家 — bousmalis · 2026-10-13
- CoRL 2026 论文 SafeDriveVLA:先做梦预演再开车,拦截不安全指令 — rsasaki0109 · 2026-10-13