STEAM：机器人离线RL新框架
青稞AI · wechat · 2026-07-20
这篇公众号介绍了清华于超老师团队与正行创新联合提出的 STEAM：一个面向真实世界机器人学习的、无需人工逐帧标注的帧级优势估计框架。
核心思路
- 针对真实机器人数据中常见的停顿、纠错、失败、次优行为混杂问题，STEAM 用专家轨迹中帧对之间的归一化时间偏移做自监督信号。
- 通过训练多个 temporal-offset 预测器，把结果转成衡量局部任务进展的优势分数。
- 为了应对混合质量 rollout，方法还采用集成模型中的最小优势值做保守评分，更稳健地识别有效推进、失败回退与恢复过程。
实验结果
- 在双臂毛巾折叠、薯片结账、可乐补货、单臂抓取放置等真实机器人任务中，STEAM 能有效发现低质量片段。
- 结合 CFGRL 后，相比基线方法，性能提升分别达到 59% / 54.3% / 23% / 16.2%。
其他信息
- 文末还预告了 7 月 21 日的直播分享，由 STEAM 一作刘志豪讲解方法、对比现有方案、框架原理与真实机器人实验。
「具身」频道最新
- 亚马逊谷歌卖出6亿台音箱,AGI 时代为何无人再造智能音箱 — julianlehr · 2026-09-11
- ECCV26 口头论文：流匹配实现多视角点云配准 — ducha_aiki · 2026-09-11
- 波兰开发者做 iPhone 应用 可探测附近的 Meta 智能眼镜 — Low-Honeydew6483 · 2026-09-11
- 蚂蚁阿福用户达 1.5 亿，外滩大会展示 AI+硬件健康管理联盟 — APPSO · 2026-09-11
- JHU 开设全栈机器人学习课:组装机械臂、采数训练部署一条龙 — _krishna_murthy · 2026-09-11
- SyncWorld:少量视觉校准即可零样本模拟机器人跨视角交互 — ChongZzZhang · 2026-09-11