MSRA 等发布 UniSteer：人类纠错可注入 flow-matching VLA 的强化学习
jiqizhixin · x · 2026-09-11
微软亚洲研究院、悉尼科技大学与清华大学提出 UniSteer，解决真机强化学习中人类引导与轻量 RL 之间的接口问题。
- 真机 RL 盲探索成本极高，自然方案是人类引导；但 flow-matching VLA 的 RL 优化对象是初始噪声，人类知道机械臂该怎么动，却无法直接把自己的动作映射到噪声空间。
- UniSteer 通过近似的 action-to-noise inversion，把人类接管时的纠正动作反演为目标噪声，打通了这一接口。
- 纠正数据同时进入两个缓冲区：演示缓冲区用于对 actor 做直接 MSE 监督，RL 缓冲区帮助 critic 学习这些高价值的状态-噪声对；监督与强化学习共同更新同一个轻量噪声 actor，而预训练 VLA 的骨干保持不变。
「具身」频道最新
- GPT-6.1 Terra 控制真机器人胜过 Opus 5.5,较三月前提升 3.7 倍 — ycombinator · 2026-10-28
- 机器人「开派对」训练中:研究者晒 policy in training 预告 — andrew_n_carr · 2026-10-28
- RAX让真机器人探索2小时自学技能，再把技能写成代码复用 — du_yilun · 2026-10-28
- OpenTac 触觉传感器将亮相 CoRL 2026,共 17 组机器人演示 — _krishna_murthy · 2026-10-28
- SO-101 Bench：LLM Agent 得分 83.2% 击败九个 VLA 策略 — Truman Hickok · 2026-10-28
- cixliv:格斗或成机器人首个跑赢普通人类的「已实现市场」 — cixliv · 2026-10-28