AIRoA-0: Long-Horizon, Precise, Cross-Embodiment Manipulation from Handheld Data
Yueh-Hua Wu, Kei Ota, Hanlong Li, Hayata Yuasa, Jason Wang, Kengo Ikeuchi, Kensuke Chiyoma, Makoto Sugiura, Masafumi Takahashi, Masatoshi Tateno, Naoaki Kanazawa, Nicola Scianca, Petr Khrapchenkov, Satoshi Otsubo, Takehiko Ohkawa, Takuya Okubo, Tatsuya Matsushima, Yuki Noguchi, Yuma Shin, Zixuan Zhong
cs.RO, cs.AI, cs.LG
2026-11-03
零机器人数据、1.6 万小时手持示教训出双臂操作系统 A-0,未见场地十个长程任务平均成功率 78%,同数据后训练的最强 VLA 基线仅 27%。
机器人操作模型的数据瓶颈在采集侧:遥操作要人守着机器人录,数据量随机器人数量增长,想堆到预训练体量基本不现实。UMI 开出另一条路,给人一把带腕部相机和六自由度跟踪的手持夹爪,双手各握一把直接做任务就能录数据,采集量随人数增长。AIRoA 沿这条路用 YUBI 夹爪录到 16,151 小时,再用这批数据训出双臂操作系统 A-0,全程零机器人数据、零遥操作、零强化学习,机器人只在测试时出现。
手持数据恰好也是最难学的一类:没有任何机器人失败与恢复的样本;策略只靠两只夹爪上的腕部相机看世界,看不全工作区;示教来自大量操作员、上百个任务、任意场地,而部署场地没有出现在训练数据里。A-0 的目标就是这些条件同时成立时还能干活。
系统分四层,每层解决一层困难。
数据与坐标。YUBI 手指驱动、带腕部相机、六自由度跟踪,录下双腕视图、夹爪轨迹和开合度。语料共 16,151 小时、1,065 万个子任务片段(平均 5.5 秒),每段带两级语言标注:任务指令(「更换扫地机器人配件」)与子任务指令(「取下第一块用过的拖布放进盒子」)。状态和动作全部定义在夹爪上:动作是相对当前位姿的目标位姿,每步 20 个数;状态是一只夹爪在另一只坐标系下的位姿加开合度,11 个数,完全不引用机器人基座、关节或世界系。这是跨本体的根基,人手里的夹爪和机械臂上的夹爪共享同一套数字。
预训练。backbone 取公开的 π0.5 checkpoint(SigLIP 图像编码器 + Gemma 2B 骨干 + 300M flow-matching 动作专家),在自有语料上训 30 万步、batch 2048。目标沿用 S2:语言分两级条件化,模型既能听整任务指令也能听单步指令;再加视觉证据预算门控,给每个 image token 打保留概率,预算损失把平均保留率压向目标,全程没有「该看哪里」的标注,动作损失反过来教门控哪里重要。可视化显示权重落在夹爪和正在操作的物体上,桌面与背景自动退后。子任务辅助损失要求模型在只给任务指令时用文本说出当前步骤,逼骨干网络编码任务进度。
后训练与推理。stage head 把长任务划成若干阶段,预测当前阶段并以文本喂给动作专家,化解「两个腕部视图同时兼容多个步骤」的歧义;本体感受记忆把最近 10 个状态连同时间戳压成 4 个 token 拼进 prompt,补上单帧看不到的运动历史。推理侧对阶段预测做 EMA 平滑,动作解码改成非均匀流式:两 slot 缓冲、噪声水平 (0.1, 1),动作块进缓冲时大步去噪,临执行前只在新观测上小幅修正,块与块衔接连续,场景突变也能立刻改道,单次查询约 60 ms。
十个双臂任务在 Franka 平台、训练数据从未覆盖的场地评测,每任务 15 次取平均,部分完成给部分分。四个对比 VLA(π0.5、Xiaomi XR-1、GR00T N1.7、MolmoAct2)从各自公开 checkpoint 出发,用与 A-0 相同的任务示教后训练,还在动作时域、频率、更新步数上给每个任务搜出最优设置;A-0 十个任务只用同一套 recipe。
| 模型 | 十任务平均成功率 |
| A-0 | 78% |
| π0.5 | 27% |
| XR-1 | 23% |
| GR00T N1.7 | 16% |
| MolmoAct2 | 14% |
A-0 在全部十个任务上排第一:颜色分拣 97%、燃油支架 93%、橙子金字塔 90%;换扫地机器人拖布和刷子这种两分钟长程任务 73%,π0.5 只有 1%;最低的入耳式耳机 30%。差距最小的杯塔任务,π0.5 拿到 71%,A-0 是 80%。数据效率上,十个任务里六个的后训练示教只要 3 到 6 小时,8 张 H200 上跑不到 4 小时。预训练 scaling 给出幂律 L = 0.063·D^-0.035(R² = 0.98),从 1,000 到 16,000 小时,数据每翻倍,后训练后损失约降 2.4%,小数据模型后训练也追不上。扰动实验中人把料盒推走、红盒移到夹爪正下方,机械臂下落途中一条连续动作改道把零件放进绿盒;同一套权重不重训直接跑上 TX-G2 人形、OpenArm 与 UR 工业臂。
手持采集路线第一次被推到 VLA 预训练的体量,而且开源链条完整:数据集(号称最大的带任务与子任务指令的手持夹松示教集)、预训练权重、后训练 recipe、YUBI 硬件设计。对做操作的团队,账很直接:新任务只要 3 到 6 小时手持示教加一次 4 小时的 8 卡后训练,不占机器人机时;机器人装得上 YUBI 夹爪就能跑同一套权重。采集量随人数扩展、不随机器人数量扩展,这是数据侧的结构性变化。
78% 对 27% 的差距也要打折扣读:四个基线的公开 checkpoint 原生面向场景相机和机器人数据,腕部-only 视角加手持轨迹属于客场,接口不匹配贡献了部分分差。
论文没有独立的 limitations 章节,以下是读出来的。78% 含 partial credit,按完成比例给分,不是严格的全任务完成率。基线接口不匹配经过调参也仍在。scaling 指数相当平,数据翻倍只换来 2.4% 的损失下降,损失与真实成功率的换算论文没有验证。入耳式耳机 30%,精细小物体还是最难的部分。扰动实验只覆盖移动料盒一类;只靠两个腕部相机,需要全局视野的任务天然做不了。跨本体有硬前提,机器人必须把 YUBI 夹爪当末端执行器,并非任意本体免适配。