RAX：靠扩展探索而非示教，机器人零遥操作学会精细操作
杜一伦团队发布机器人系统 RAX，核心主张是不依赖示教数据和扩大模型规模，而是靠规模化在线探索让机器人学会精细操作。RAX 的关键设定是底层模型保持冻结，学习发生在智能体不断增长的工作区——代码、笔记与已验证技能中：执行策略、观察结果、修改感知与控制代码、再执行，每轮探索都建立在之前的程序、测量与发现之上。成果以可复用技能库的形式沉淀，成功决策被固化为包含完整感知-规划-执行流程的持久技能。
已确认
- 基准成绩：RoboDojo 上达 78.3%，比此前 SOTA 的 24.9% 高 53.4 个百分点；BEHAVIOR-1K 长时程家务任务上 46.5% 对 8.2%，领先 38.3 个百分点；倒水任务从此前方法全员 0 分到满分；五个基准合计超 SOTA 37.4 分
- 认知架构：agent 使用 RGB-D 与力觉观测构建任务相关的 3D 模型，通过机器人控制与运动学工具搜索动作，自主发展感知管线、操作策略与执行校验
- 系统架构：前端编码智能体与机器人物理栈解耦，前端承载智能体、程序、笔记与技能库，后端提供感知、低层控制器、硬件驱动或仿真与运动检查，二者经工具接口通信；智能体与其生成的程序调用完全相同的工具，交互式开发的代码可原样部署，因而天然支持多本体
- 多本体控制：机器人侧暴露富有表达力的控制接口与基于模型的工具，按机型选用关节目标、末端位姿、躯干-手臂协同运动或全身参考，高频跟踪交给低层控制器；在人形机器人上可从全身参考构建步态并测量步频
- 真机表现：不采集任何遥操作或动作示范，靠探索学会精密插轴、空气炸锅操作、擦污渍、追踪隐藏物体、叠班都塔和长时程全身控制；推理耗时从 72 分钟降到 18 秒
- 面对空气炸锅等物体，agent 会自主构建其铰接 3D 模型并在其上规划
为什么重要
机器人领域长期依赖遥操作示教数据与大模型规模，数据采集成本高、泛化受限。RAX 展示了另一条路径：冻结模型、只扩展智能体的在线探索回合预算，就能在模拟基准与真实机器人上同时取得大幅提升；探索成果可沉淀为可复用技能库，且前后端分离与统一工具接口让同一智能体可操控不同本体，为后续任务累积跨机型能力。
2026-10-17 ~ 2026-10-17 · 8 条相关
一手来源
- RAX：靠扩展探索而非示教，机器人零遥操作学会精细操作 — du_yilun ·
- RAX 刷新 RoboDojo 与 BEHAVIOR-1K：78.3% 对 24.9%，倒水任务从全员 0 分到满分 — du_yilun ·
- RAX 机器人零遥操作数据学会精密插拔，推理耗时从 72 分钟降到 18 秒 — du_yilun ·
- 【源头】RAX：靠扩展探索而非示教，机器人零遥操作学会精细操作 — du_yilun · 2026-10-17
- 模型冻结不动，只扩探索：RAX 五基准超 SOTA 37.4 分 — du_yilun · 2026-10-17
- RAX 机器人认知架构：探索经验沉淀为可复用自主技能 — du_yilun · 2026-10-17
- RAX 架构：前端编码智能体与机器人物理栈分离，天然多本体 — du_yilun · 2026-10-17
- 一套智能体操控三种身体：RAX 的多本体控制接口设计 — du_yilun · 2026-10-17
- 【源头】RAX 刷新 RoboDojo 与 BEHAVIOR-1K：78.3% 对 24.9%，倒水任务从全员 0 分到满分 — du_yilun · 2026-10-17
- 【源头】RAX 机器人零遥操作数据学会精密插拔，推理耗时从 72 分钟降到 18 秒 — du_yilun · 2026-10-17
另有 1 条近重复转述:du_yilun