NEO-VLA冻结骨干仍达90.9%,浅层高于最终视觉层

From Pixels to Actions--Towards Native Vision-Language-Action Policies

Weichen Fan, Haiwen Diao, Penghao Wu, Siyuan Hu, Ziqi Huang, Tianqi Liu, Mingze Sun, Ziyi Wang, Zhongang Cai, Hanming Deng, Quan Wang, Lei Yang, Lewei Lu, Fangzhou Hong, Zhaoxi Chen, Dahua Lin, Ziwei Liu

cs.CV

2026-11-05

NEO-VLA去掉单独的视觉编码器,像素经卷积进入2B骨干,动作头可读不同深度的视觉计算。冻结时LIBERO平均成功率90.9%,高于同设置Qwen3-VL的79.5%和Gemma-3的84.5%。

这篇在解决什么

主流 vision-language-action 模型(VLA,图像和指令进去、机器人动作出来)先把图像交给 CLIP、SigLIP 或 DINOv2,压成一份固定特征,语言骨干和动作头只能看见这个终点。抓取和对准要的局部几何、边界、深度和状态细变,最容易在这一步被抹掉。就算改读语言骨干的不同层,读到的内容仍然排在该终点之后。

视觉模块被指出既是剪枝敏感点,也会在动作微调里受损。NEO-VLA 让动作头读骨干中尚未收成单一向量的计算。

方法

结构上没有单独预训练的视觉编码器,也没有图像码本或自编码器。两级卷积的总步长是 32,每 32×32 像素产生一个 token,进入 40 层、2B 的语言骨干。图像保持纵横比,单视角最多 88 个 token。Native RoPE 把位置拆成时间、高、宽。文本走因果注意力,同一视觉块内的图像 token 双向可见,几何细节和语义因此出现在同一条计算的不同层。

连续动作由随机初始化的窄 expert 用 flow matching 预测:噪声和真实动作按时间混合,网络拟合速度,推理走 10 步 Euler,前缀缓存固定,不用 classifier-free guidance。expert 每一层只读映射到的那一层。skip-28 在完整 40 层里均匀取 28 层,end-28 只读第 12 到 39 层,两者 expert 同宽同深,用来比读出位置。first-28 只读前部,同时把骨干截短。full-40 的 expert 更深,只作容量参照。

前缀含最多三个视角、相机几何、控制频率、本体状态和指令。本体用 6 个 token 表示双臂和身体的上一帧与当前帧,缺的部件 mask 掉。一次输出 30 步 action chunk。双臂各 26 维,含 7 个关节、3 维平移、3 维旋转、1 个夹爪和 12 个手部关节;身体 8 维,同样覆盖 30 步。四组速度误差的权重是 (2, 1, 1, 1),末端和夹爪更重。

数据来自 9 个公开集,共 2,231,583 条轨迹、9,927.7 小时。仿真 InternData-A1 占存储行的 42.42%,采样时降到 15%。最终质检在 2,231,586 条里删掉 3 条。

训练先冻结骨干、只训 expert,113,400 step,batch 8192,学习率 2×10^{-4};再全参数 75,000 step,骨干学习率 5×10^{-5},隔步混入理解数据,next-token 损失权重 0.1;最后在内部动作数据上再训 75,000 step。受控对比并没有走完这三阶段,而是每个骨干都只在 Open X-Embodiment 上按同一设置预训练 75k iter,再接同一套 action expert。

结果

上述受控设置在操作基准 LIBERO 上取第 30,000 step,四套件各 500 条。表中 NEO 的读出就是 skip-28。

骨干适应平均成功率
NEO-VLA 2B只训 expert90.9%
Qwen3-VL 2B只训 expert79.5%
Gemma-3 4B只训 expert84.5%
NEO-VLA 2B全量微调95.3%
Qwen3-VL 2B全量微调90.8%
Gemma-3 4B全量微调91.0%

冻结的 2B NEO 达到 90.9%,与两家全量微调后的 90.8% 和 91.0% 持平。LIBERO-Long 上,冻结 NEO 为 85.4%,高于 Qwen 全量微调的 78.6% 和 Gemma 全量微调的 82.8%。全量微调后 NEO 为 95.3%,对 Qwen 的领先从 11.4 个点缩到 4.5 个点。Gemma 的骨干大约有 NEO 的两倍参数,仍然更低。

把 Qwen3-VL 里 13 层 expert 接到视觉塔中间特征,不增加参数。冻结成功率从 79.5% 降到 64.9%;全量微调后,原接口 90.8%,中间层接口 90.9%。编码器中间层本身接出来,补不出冻结骨干那种可迁移性。

层映射仍用这套设置,每档 2,000 次 rollout。骨干保持 40 层时,冻结 skip-28 为 90.9%,end-28 为 86.7%;微调后为 95.3% 对 92.5%,Long 套件是 92.0% 对 84.2%。first-28 冻结有 94.9%,但骨干被截短,不能单独支持越浅越好。first-14 对 last-14 的冻结结果是 93.6% 对 89.6%,同样混有深度差别。

换成别的观测时,第 0 到 10 层的平移误差最大,等幅噪声不超过 0.004 cm。腕部图像敏感峰在第 6 到 10 层,指令峰在第 0 层。腕部相机位姿只在按该相机坐标系预测动作时,于第 0 层明显起作用。

只做动作后训练,模型不能生成合法文本,RoboTwin 2.0 的 clean-to-randomized 成功率掉到 10.7%。隔步加入理解语料后,MMBench-EN 从 82.7 到 81.2,其余四项理解分数的变动不超过 1.6 分,随机场景成功率 69.4%。

完整训练的公开榜协议并不统一。NEO-VLA 在 LIBERO 上平均 97.4%(四套件 98.4、99.4、95.6、96.2,每套件 2,000 条,step 27,500)。OpenVLA 为 76.5,EO-1 为 98.4,MMaDA-VLA 为 98.0,Qwen-RobotManip 只报总分 99.1。分布内几乎分不开。

LIBERO-Plus 用任务加权总分。NEO-VLA 为 89.7,在代码和权重都公开的模型中最高:相机 94.5,语言 91.7,噪声 96.9,光照 96.2,背景 96.6,机器人 72.6,布局 82.4。π0.5 总分 84.4,其中相机 78.4;π0 总分 53.6,其中相机 13.8。未开源的 Qwen-RobotManip 总分 89.0,布局 87.3,高于 NEO。

LIBERO-Pro 上 NEO-VLA 的语义扰动为 98.0,物体外观 84.3,位置 3.0,任务目标 6.3,平均 47.9。π0.5 平均 53.3,位置 20.8。措辞和外观变化扛得住,位置和目标一变就接近做不成。

RoboTwin 2.0 的 2.5K episode 设定下,NEO-VLA 的 Clean 为 75.78,Clean2Rand 为 69.40,大约只掉 6.4 个点。π0.5 从 70.70 掉到 46.00,FastWAM 从 77.80 掉到 1.90。公开代码与权重的方法里,NEO 的随机场景分数最高,干净场景则低于 Qwen-RobotManip 的 89.58。

真机三任务是网球放到罐上、胶带放进碗再把球放进胶带、横放的罐子转正插入。各用 50 条演示微调,各测 20 次。NEO-VLA 为 12/20、17/20、13/20,π0.5 为 10/20、14/20、13/20,StarVLA 为 1/20、2/20、0/20。域内和域外没有分开报告。单张 RTX 3090、bf16、10 步 Euler 的编译前向是 282.5 ms,到可执行计划 286.2 ms。2 步采样降到 178.5 ms,文中成功率对应的仍是 10 步。

为什么重要

在 expert 和 OXE 语料对齐的前提下,冻结的 2B 原生骨干已经达到编码器模型全量微调的水平。再微调大约再多 4 个点,策略不必先把视觉表征整个重训一遍才能用。

权重、代码和预训练数据公开。冻结时浅层更有用,微调后 skip-28 更好。50 条真机演示可以打平或超过 π0.5。分布内的 97.4% 与最强公开模型挤在一起,优势在相机、语言和场景随机化。

局限与存疑

论文写明:预训练与容量不同,增益不能全算到删掉编码器;跨论文榜的仿真器、相机和数据也不一致。感知扰动稳,空间布置和任务目标不稳,这被当成尚未解决的下一步。

first-28 的 94.9% 同时缩短了骨干。Qwen 只试过一种 13 层中间接法。真机每任务 20 次,12/20 对 10/20 很脆;StarVLA 接近全失败,更像后训练没有对齐。12 维手部关节、损失权重,以及采样后仍占 15% 的仿真数据,都没有和结构因素拆开。

术语

原文与代码

社区讨论

相关论文

全部论文解读