NEO-VLA 论文开源：质疑 VLA 必须用语义编码器表示的假设

liuziwei7 · x · 2026-11-11

NEO-VLA 的论文、GitHub 与项目页同步公开，Hugging Face 论文页详述其核心发现：VLA 设计中「动作应依赖为语义理解蒸馏的视觉表示」这一常见假设并不成立。有效的控制反而受益于早期视觉计算；原生表示即使冻结也能很好地迁移到动作，而在基于编码器的 VLM 中暴露中间特征并不能带来同等收益。关键在于视觉表示如何形成，而非单纯移除编码器。NEO-VLA 对视觉变化展现强鲁棒性，但在空间构型与任务目标变化上仍有挑战。架构图显示其基于 NEO-2B（40 层）模型，配备 action expert、velocity field 与 30 步动作块，控制 Franka Panda 机械臂（26D 臂 + 8D 机身），并配套一套数据清洗流程（关节读数异常、死通道、动作离群值、损坏 episode、相机标定一致性五项检查，共校验 2,231,586 条数据）。