VLA 上跑真实 RL 微调:十次 rollout 后策略就开始发抖
DominiqueCAPaul · x · 2026-09-28
作者分享了一次真实世界的强化学习 token 实验:只在关键环节(执行器插入)启用 RLT 相关策略,首轮 rollout 表现尚可,但约 10 次带更新的 rollout 后策略明显变得抖动(jerky)。
视频展示了这种抖动:一旦关掉 RLT 网络、让原始未微调的 VLA 接管,动作恢复平滑,执行器也能干净插入。作者推测抖动可能来自探索噪声注入或 residual policy 正则化不足,但噪声注入理应在首轮就显现,尚不确定原因。
「具身」频道最新
- 扑翼无人机在空军测试中被探测系统误判为鸟 — import_jmr · 2026-11-16
- Uber 在拉斯维加斯上线 Amazon 旗下 Zoox 无人驾驶出租车服务 — Polymarket · 2026-11-16
- 蚂蚁灵波具身大模型挑战赛收官:TARS战队48小时真机对决夺冠 — 新智元 · 2026-11-16
- 特斯拉 FSD 城市街道里程破 70 亿英里,四周新增约 5 亿 — XFreeze · 2026-11-16
- Ropedia 发布 Xperience 2:1500+ 真实场景扫描配第一人称演示 — liuziwei7 · 2026-11-16
- 杭州群核联合华测发布 3D 激光扫描仪 Aholo MS07 — teortaxesTex · 2026-11-16