MA-VLA: Multi-Arm Vision-Language-Action Model for Collaboration and Compositional Generalization
Zaibin Zhang, Junlan Xiao, Zhongbo Zhang, Yifan Wang, Li Kang, Yiran Qin, Changxing Xia, Heng Zhou, Talas Fu, Enshen Zhou, Ruimao Zhang, Zhenfei Yin, Huchuan Lu, Lijun Wang
ECCV 2026
cs.RO
2026-08-26
把高阶指令拆成按臂分配的原子动作,训练时用Arm Shuffle打散固定角色,未见协作模式上Pi0全是0,MA-VLA平均成功率13%。
多臂协作正在变成具身操作的常规设定,现有 VLA 仍把语言当成一条全局指令,谁干什么靠数据里的角色统计去猜。训练时左臂总是递、右臂总是接,测试时对调或改堆叠顺序,策略就塌。大连理工、牛津等把问题收窄:原子动作还在训练集里,协作结构不在,模型能不能重组。他们把这叫做 multi-arm compositional generalization。
MA-VLA 拆成两段,推理时仍端到端。
Planner 是 GPT-4.1,不微调。高阶指令加当前图像,从一份有限的原子提示词表里选出分阶段、分手臂的中层指令,例如 grasp、hold bowl、place cube,并做规范化,保证落在词表内。
Executor 基于官方 pi0base,用 flow matching 出连续动作。所有手臂的原子提示拼成一条「Arm0: …, Arm1: …」,和全局视角、腕部视角、本体感觉一起进同一个模型,一次前向出全部手臂动作,再加多头投影拆开。
训练时两招只做数据扰动,目标函数还是行为克隆。Arm Shuffle:以 pshuffle 随机置换各臂的状态、视角、提示和动作绑定,逼模型读语义而不是记「几号臂」。View Dropout:以 pdrop 把部分相机视野置零。仿真每任务 150 条专家演示,用规则解析器按接触、抓取、位姿阈值打出帧级原子标签。
RoboFactory 域内,100 次 rollout 平均成功率:
| 设定 | Pi0 | MA-VLA |
| 双臂四项平均 | 80.3% | 83.5% |
| 三/四臂四项平均 | 76.5% | 83.3% |
三臂 Stack Cube 48% 到 58%,四臂 Long Pipeline Delivery 82% 到 97%。RoboTwin 2.0 Hard 平均 41.1 到 49.0,Handover 27 到 46,Cabinet 59 到 71。Stamp Seal 仍低,3 到 12。
域外才是主结果。三臂堆方块换颜色顺序、Pass Two Shoes、Stack Two Bowls,DP、Pi0-FAST、Pi0 全部 0。MA-VLA 平均 13.0,GBR 顺序 28,其余三项约 9 到 10。
真机双臂 SO101,每任务 50 条遥操作、测 20 回合:
| 任务 | Pi0 域内/域外 | MA-VLA 域内/域外 |
| Stack Bowls | 9/20 / 0/20 | 12/20 / 10/20 |
| Place Cubes | 12/20 / 0/20 | 15/20 / 8/20 |
| Pass Toys | 3/20 / 0/20 | 6/20 / 2/20 |
| Stack Cubes | 5/20 / 0/20 | 8/20 / 2/20 |
消融在三臂未见堆叠顺序上:只加原子提示,域内 48 到 58,域外仍 0;再加 Shuffle,域外 7.3、域内回落到 52;再加 View Dropout,域外 15.3、域内 53。每臂单独训一个 Pi0,域内 61,域外仍 0,还要按臂数线性加模型。
多臂 VLA 的瓶颈经常不在动作头,而在角色和手臂编号绑死。把分工写成可重组的中层语言,再用置换把身份打散,域外才从 0 变成非零。域内提升是几个点的渐进,故事在组合泛化。
想复现要准备两样:一份原子动作词表加规则标注,外加一次 GPT-4.1 规划。Executor 本身是 Pi0 微调,不是新架构。
没有独立局限节。域外平均 13%,真机 Pass Toys 和 Stack Cubes 域外只有 2/20,「能重组」和「能用」中间还很宽。Planner 不学习,依赖 GPT-4.1 和人工词表,词表外的协作方式规划器也走不通。Shuffle 概率按任务手调(0.6 / 0.8 / 1.0),没有一套通用超参。仿真基线是把单臂 VLA 改接口重训,公平,对照的是适配后的 Pi0,不是原生多臂方法。真机 20 回合,统计上很紧。