VFlash: Fast, Accurate Visual Planning via Flash Primitive Decoding
Yu-Cheng Chou, Shihao Wang, Jin Huang, Chi-Pin Huang, Chiao-An Yang, Xianzhe Fan, Jing Wang, Zhiqi Li, Yuanguo Kuang, Ruijie Zheng, Johan Bjorck, Sifei Liu, Hang Su, Abhishek Badki, Lei Zhang, Alan Yuille, Linxi "Jim'' Fan, Jan Kautz, Zhiding Yu
cs.RO, cs.CV
2026-11-06
VFlash 用五层扩散 drafter 一次前向写出整段框或轨迹,格式合法就直接收下;机器人三维 ADE 最多下降 61%,下游操作平均成功率从 62.6% 升至 70.2%。
操作和自动驾驶里,视觉语言模型经常先给视觉计划,再交给动作模型:框、点,或未来几秒的轨迹。格式是定好的。一个框四个数,一条轨迹是固定个数的二维或三维坐标。
自回归把每个坐标拆成 token 逐个生成。轨迹变长,或 2D、3D 一起写,延迟线性涨。计划还要跟着新观测刷新,预算一紧就只能少预测几个点。
投机解码要求草稿和目标模型下一个 token 完全一致。差一个量化档,几何上也许只偏几厘米,token 已经失败。DFlash 在子任务文本上平均每轮收下 5.5 个 token,轨迹块里只剩 2.2 个,解码时间大约只剩一半。
Flash Primitive Decoding 把一个完整几何对象当成一次并行预测。目标 VLM 冻住,特征注进五层非因果的扩散 drafter,一次前向填完整块。块长由原语类型和 tool call 决定,双臂十点的 2D+3D 轨迹、单个框、一帧稠密运动各用各的长度。
格子的角色事先定死。主实验用 1001 个专用 token 表示 0–1000 的坐标,推理时限制词表;若坐标本是普通文本,就排成符号加五位数字的定宽格子,再渲染回原文。
子任务文本仍要和目标 token 一致。视觉原语只要格式合法就整块收下。框没过 LocateAnything 空间置信度的坐标,用约束自回归补上;轨迹只做格式校验。标签是标注坐标,不是目标模型的续写,块内损失均匀。短文本和原语共用一个 drafter。
基座为 Qwen3-4B、原生分辨率 MoonViT 与 MLP 连接器。先把 4B 目标做下一 token 微调再冻住,只训 drafter;稠密运动直接冻住发布的 MolmoMotion-AR。合法原语的开销是一次 drafter 前向加一次目标前向,后者刷新缓存,并抽出隐藏状态给动作模型。路点增加,顺序步数不增加。
对照都是同一个目标换解码器。
二维轨迹上六项误差都降。ShareRobot-Bench 与 VABench-V 的 Hausdorff 距离约降 7%,DFD 和 RMSE 降 3%–6%。VABench-V 相对 LoHo-Manip 大约少四成,但 4B 自回归目标本身已超过表内多数模型;ShareRobot 的 DFD 0.194,仍高于 RoboBrain-2.0 的 0.167。
| 设置 | 指标 | 自回归 | VFlash |
| ShareRobot / VABench-V | HD | 0.175 / 0.125 | 0.162 / 0.116 |
| AgiBot,仅 3D | ADE(米) / 5 cm 内 | 0.083 / 50.3% | 0.042 / 73.1% |
| AgiBot,2D+3D | ADE(米) / 5 cm 内 | 0.105 / 39.8% | 0.041 / 73.9% |
| MolmoSpaces | 平均成功率 | 62.6% | 70.2% |
三维差距最大。InternA1、AgiBot、MolmoBot 上,只出 3D 时 ADE 降 18%–49%,2D+3D 一起出时降 28%–61%。AgiBot 上 5 cm 内路点,只出 3D 时从 50.3% 升到 73.1%;一起出 2D 时自回归掉到 39.8%,VFlash 仍是 73.9%。自回归同时写两套坐标,3D ADE 反而比只出 3D 高 15%–51%。腕部相机只用于训练,评测仍用主相机,ADE 再降 3%–12%。
框则不然。COCO 与 Dense200 上,带自回归回退的平均 F1 与自回归持平,速度约 2.6–2.8 倍;IoU 0.50 更高,0.95 更低。关掉回退,Dense200 平均 F1 从 60.10 掉到 39.09。
点运动以 MolmoMotion-AR 为目标,单次生成约快 25 倍。DAVIS 的 ADE、FDE 从 1.227、2.108 降到 0.893、1.716,HOT3D 的 FDE 降 8%;HOT3D 与 WorldTrack 的 ADE 仍落后,WorldTrack 的 FDE 从 0.261 升到 0.300,三个数据集的 PWT 低 7%–12%。
MolmoSpaces 用 Cosmos-Predict2.5 后训练的 world action model,条件于问题、子任务和十点 2D+3D 轨迹。平均成功率 70.2%,原装文本编码器基线 62.6%。Pick 多 2.5 个点,Pick & Place 与 Close 多 11.6 和 12.8 个点,Open 只多 3.5 个点。平均分高于 PrimeR0 的 60.3%,但 Close 77.0% 低于 PrimeR0 的 81.3%。
换计划表示之后,同一 VLM 下,自回归 2D+3D 计划成功率 61.0%,低于 62.6% 的基线;自回归只出 3D 有 69.3%;轨迹特征换成图像特征为 63.7%。下游吃到的主要是一份没写坏的三维轨迹,VFlash 多做的是把 2D 一起写上还不把 3D 写崩。
LIBERO 系列共用一个 PIv3 流匹配头,对照是冻结的 Qwen3-VL-4B。成功率多出的点数从 LIBERO 的 0.8(93.4% 到 94.2%)、LIBERO-Plus 的 1.9,增到 LIBERO-PRO 的 6.8。后者的 Spatial、Object、Goal 高 11.1、9.4、6.9 个点;相对只给子任务,Spatial、Goal、Long 再多 2.6、1.2、2.0 个点。
驾驶的规划 VLM 冻结,单独训练扩散动作头。NAVSIM 监督 PDMS 87.1,高于 ReCogDrive 的 86.8,低于 Qwen-Drive-1.0-SFT 的 88.2;动作头经强化学习后到 90.7,与 Qwen-Drive-1.0-RL 持平。Waymo 测试集 RFS 由 7.79 到 7.86,离表中最高的 7.91 还差 0.05。
batch size 为 1 时,MolmoSpaces 每步延迟在 Jetson Thor 上从 3552.7 ms 降到约 703.3 ms,DGX Spark 从 3356.5 ms 降到 649.9 ms,约少 80%,论文给出的 Thor 与 Spark 加速是 5.1–5.2 倍,H100 约 3.6 倍。NAVSIM 在 Thor 与 Spark 上约 3.4–3.6 倍,H100 约 2.6 倍;Waymo 在 H100 上约 4.5 倍。变快的是解码:Thor 上自回归占每步 75%–87%,驾驶原语从 36 个 token 增到 84 个,VFlash 解码仍在 72–78 ms。
重规划的时间主要花在逐坐标解码上。嵌入式平台上,一块原语收成两次前向,加密路点几乎不再加延迟。
drafter 比 4B 自回归目标更准,2D 与 3D 写在一起时最明显。自回归步步依赖上一个坐标,这里一次看完布局。目标模型的逐 token 分布不是上限。
MolmoSpaces 上,同一 VLM 的自回归 2D+3D 计划只有 61.0%,低于 62.6%;VFlash 计划到 70.2%。动作头读这些隐藏状态,计划写坏了,交叉注意力补不回来。驾驶与 Qwen-Drive 持平,省的是顺序解码,强化学习不动 VLM。
轨迹上的结论不能直接挪到框和稠密运动。高 IoU 的框更差;不回退时 Dense200 平均 F1 掉到 39.09。三个数据集的 PWT 都低于目标,WorldTrack 的 FDE 还上升。直接接受是否更准,取决于标注坐标好不好学。
25 倍来自初步的单次计时,不是 Thor、Spark、H100 上那套分阶段测量。实验停在模拟器。LIBERO 主集只多 0.8 个点,增益集中在 LIBERO-PRO,换一个动作头是否还在,没有再验。
强化学习把 NAVSIM 的 PDMS 抬到 90.7,计划与监督阶段相同,加分在动作头。87.1 仍低于 Qwen-Drive-1.0-SFT 的 88.2。drafter 五层,且目标要先按任务微调。没见过的长度、没微调的 VLM,都没有实验。一次请求目前仍只出一条原语。