Toward the Era of Agentic Embodied Intelligence
Chao Liang, Ke Chen, Fengxiaoxiao Li, Shibo Huang, Yufeng Sun, Zhaokai Yin, Jianhuan Lai, Haozhe Feng, Chenghuan Jia, Zhipeng Zhang
cs.RO
2026-11-06
A2-MEAS用纠错码把恢复语言和空间证据送进冻结的动作策略，百项家务公开任务Q分0.6411、完整成功率45.40%，真机十二项宏平均57.92%，对照π0.5的26.67%。
长程家务里，上一步留下的状态决定下一步还能不能做。抓取救回来，朝向却可能让后面放不进去。语言重规划能说再试一次。接近角、对准和夹爪时序怎么变，它不负责。
VLA 把图像和指令映成连续控制，常见决策可以写进权重。陌生失败仍要问大模型。部署时不改权重，诊断却要改下一段轨迹。A2-MEAS 就是接这两者的接口。
三组角色共用一份执行记录。A2-WLA 出连续动作。公开集的 MetaBrain 是 Qwen3.8-27B，写恢复指令。动作骨干是分开训练的 2B Qwen3-VL。诊断按需调用 DINO 特征、SAM 分割、跟踪和接触判断，证据不够就标未知。
correction code 是条件向量，不是一段程序。恢复指令、核验过的空间证据、已执行历史和基座尚未执行的提案收成一个码，整个动作块内不变。适配器接在 18 层动作专家第 9 层之后，后面的层把改过的隐状态收成速度场。每个 flow 步按该位置重算残差，同一段可以先抬再对准。瓶颈宽 256，纠错分支不到 1 亿参数。输出投影初始为 0，缩放 α 初始 0.1，起步残差为零，基座输出先保持原样。
纠错阶段冻结基座，只更新适配器。示教状态上让冻结策略出提案，只留技能切换、接触前和夹爪动作上偏差大的窗口。1950 小时最多取 2%，即 39 小时。留下的是提案相对专家的偏差。部署后权重全固定，换新码改轨迹。
A2-WLA 用 6 帧相邻差分提供运动线索。帧间隔不固定，差分只表示画面变化。共享潜变量预测多相机未来特征。上线没有未来帧，潜变量由骨干从当前观测估计。10 步 flow matching 预测 50 步控制，最多执行 32 步，23 维全身量。基座三阶段训完，纠错是第四阶段。一次异常最多 3 次物理重试、60 秒，协调请求 10 秒超时，额外视角最多 2 个。
| 对照 | 结果 |
| 50项任务专化、纠错前 vs RLC 2025公开分 | Q分 0.5755 vs 0.2605 |
| 100项完整系统 vs 多模型 A2-WLA | 0.6411、45.40% vs 0.6040、40.60% |
| RoboTwin 2.0 全系统 vs 动作模型 | 95.05% vs 93.98% |
| 真机12项 A2-WLA vs π0.5 | 57.92% vs 26.67% |
| 滤杯两步，适配器 vs 同策略空重试 | 94/100、82/100 vs 14/100、8/100 |
50 项子集上，共享模型纠错前是 0.4522。0.5755 约是 0.2605 的 2.21 倍，正文写明跨届，也跨训练配置。100 项多模型基线为 0.6040 和 40.60%，加上 MetaBrain、诊断和纠错后为 0.6411 和 45.40%。88 项至少成功过一次。每项 10 条评测，这条线偏低。
RoboTwin 的 93.98% 与 95.05% 是 Clean 和 Randomized 的平均，完整系统高 1.07 个百分点。真机 12 项、五种场景、每项每配置 20 次，57.92% 约是 26.67% 的 2.17 倍，没有高层纠错。手冲约 4 分钟。滤杯两步对照的是关掉适配器后的重试，用来补充仿真里的纠错实验。
8 卡、全局 batch 256 的训练吞吐是 427.1 条样本每秒。同硬件、同分辨率、同动作视野的 π0.5 参考实现是 106 条，约 4.03 倍。两边 batch 按资源各自选取。1000 条回合在 8 张 Pro6000、24 路并发上用 18.1 小时。估计串行 1275 小时，理想线性摊到 8 卡为 159.4 小时，约 8.8 倍。推理服务另算。
公开分的大头在动作模型里。纠错还没开，50 项任务专化已经到 0.5755。100 项平均上，纠错大约多 0.0371 个 Q 分和 4.8 个百分点。
滤杯没坐稳是另一头。同一冻结策略空重试只有 14/100 和 8/100，接上历史条件适配器后是 94/100 和 82/100。常出现的修正进小适配器，大模型只在异常时写指令，基座权重不动。整套仿真 18.1 小时，长程评测可以按天转。系统、模型、训练脚本和基础设施，论文写明会放。
纠错样本是未执行提案相对专家的偏差，部署遇到的是已经失败的物理状态。论文写了这两边有分布差。偏差记在控制量上，适配器改的是隐状态残差。方法部分没有单独证明残差对应哪一种几何修正。
2.21 倍不能当成同一张榜的名次。末端几何损失不检查碰撞、接触是否稳定、动力学是否可行。进度靠近 1 也不代表任务做完。
真机主结果没有高层纠错。咖啡实验测的是历史条件适配器对空重试，真机长程还没有和仿真同一口径的增益。8.8 倍对照的是投影基线。完整成功率 45.40%，多数回合做不完。