ARLI 框架解决 VLA 推理延迟难题,RL 微调真实机器人不再失效
oier_mees · x · 2026-09-22
Siemens 与 UC Berkeley 等机构发布论文《Learning to Act While Waiting》,研究通用机器人策略(VLA)在推理延迟下如何进行 RL 微调。
- 问题:VLA 模型推理延迟大,动作基于过期观测生成,会改变有效环境动态,破坏 RL 依赖的马尔可夫假设,导致标准 RL 算法完全失效。
- 方法:提出延迟感知框架 ARLI(Asynchronous RL with Intermediate Information),在异步推理(动作生成与执行交错以隐藏延迟)基础上,通过两种状态增广恢复近马尔可夫结构:纳入已提交动作,以及利用推理窗口中段的新观测。
- 结果:在仿真和真实操作任务上验证,标准 RL 在延迟下完全失败,而 ARLI 能有效微调,甚至达到或超过理想无延迟设置下标准 RL 的性能。
作者包括 Sergey Levine、Oier Mees、Andrew Wagenmaker 等。
所属事件:西门子联手伯克利发布ARLI 解决VLA推理延迟下RL微调难题(2 条相关)→
「具身」频道最新
- UC Berkeley 开源 RoboSimStudio：AI Agent 无需训练数据编程工业机器人 — berkeley_ai · 2026-11-12
- NXP 发布无人机统一平台：开箱 30 分钟跑通初始飞行功能 — shashib · 2026-11-12
- 90 条演示数据训练,开源双臂机器人玩拼图成功率约 60% — DanGrover · 2026-11-12
- 机器人产业三种区域打法：中国拼规模、欧洲重检测、美国搞试点 — ingliguori · 2026-11-12
- 3500 台激光 AI 潜艇机器人巡逻挪威三文鱼养殖场 — philfung · 2026-11-12
- 模型连续迭代 75 分钟自主设计出机械臂 CAD,造型独特带手术机器人风格 — _Stocko_ · 2026-11-12