X-Era AI Lab 世界-动作模型:机器人操作成功率最高 88.3%

jiqizhixin · x · 2026-11-14

X-Era AI Lab 发布预印本 E0.5,提出直接构建在可训练 3D 基础模型之上的「世界-动作模型」(world-action model):

架构思路:不再把几何信息仅作为视频模型的辅助输入,而是让几何表征成为生成机器人动作的核心。3D 基础模型作为语言条件化的几何骨干(DINO 图像编码器 + T5 语言编码器 + 24 层视觉帧注意力),配合 24 层几何条件化 DiT 动作块做 flow-matching 动作生成。
联合学习:模型同时学习动作块与该 chunk 末步对齐的未来深度图、点云和相机参数;训练时由未来几何监督,推理时机器人无需显式生成未来场景。
逐层几何-动作注意力:动作 token 只对视觉 token 做单向注意力(无反向注意力)。
成绩:经具身预训练后,E0.5 在 AgileX Piper 上平均成功率 85.0%,在 Zerith H1 上 88.3%(跨分布内与分布外设定;针对特定操作任务与训练方案,非任意行为)。

「具身」频道最新