NVIDIA 发布 VFlash：物理 AI 的 System-1 视觉规划并行解码框架
NVIDIA 研究团队（LPR Team 与 Jim Fan 的 GEAR Lab 等）发布 VFlash，一个面向物理 AI 的通用解码框架，定位为「System-1 视觉模型」：让具身模型不必只用文本思考，也能以「视觉规划」思考，并行地高速解析视觉世界并直接服务于动作执行。团队宣称机器人推理提速 5.1 倍且误差降低 61%，并在 NVIDIA 全栈支持下最快提速 5.7 倍，值得作为自回归解码之外的另一条具身推理路线关注。
已确认
- 核心思路：大多数具身预测任务的输出是定长浮点向量（如边界框恒为 6 token、10 路点机械臂轨迹为 54 token），VFlash 据此一次性并行解码，而非逐 token 生成。Jim Fan 给出的数据是机器人推理提速 5.1 倍且误差降低 61%；团队后续推文称在全栈支持下推理最快提速 5.7 倍。
- 解码类型覆盖：输出同时涵盖文本与结构化几何输出，Zhiding Yu 将其描述为面向物理 AI 的通用结构化并行解码器。
- 工程落地：VFlash 在 NVIDIA 全栈上获得推理加速支持，覆盖 Jetson Thor、DGX Spark 和 H100，基于 TensorRT-Edge-LLM 与 TensorRT 推理栈，面向机器人操作与自动驾驶等场景。
- 并行解码设计要点：作者强调两条原则——边界对齐（训练与解码块匹配完整视觉基元边界，让 drafter 一次学完完整几何，而非被固定 token 窗口切碎的片段）与位置对齐。
- 反直觉发现：在许多任务中，轻量 drafter 的解码精度可以超过它所模仿的自回归目标模型，这与 LLM 投机解码领域「自回归是精度上界」的通常结论相反，因此某些任务甚至无需对 draft 输出做额外校验。
- 下游收益：可冻结 VLM 特征，让 world action model（WAM）或扩散动作头通过 cross-attention 关联 VFlash 的视觉基元 token，快速准确的视觉规划预测为下游任务带来多重收益。
为什么重要
- VFlash 代表了从「System-2 文本推理」向「System-1 视觉规划」的路线补充，直接把视觉预测压缩为定长向量输出，绕过自回归解码瓶颈。
- drafter 精度可反超目标模型的发现，对投机解码的传统假设提出了挑战，也为轻量部署提供了依据。
- 端到端部署到 Jetson Thor 等边缘设备，意味着该框架不只是论文概念，而可实际用于机器人操作与自动驾驶的实时推理。
2026-11-06 ~ 2026-11-06 · 10 条相关
一手来源
- VFlash 一次性输出几何向量，机器人推理提速 5.1 倍且误差降 61% — DrJimFan ·
- NVIDIA 发布 VFlash:视觉规划并行解码,专为物理 AI 提速 — ZhidingYu ·
- VFlash 视觉规划加速落地 Jetson Thor 与 H100,推理最快提速 5.7 倍 — ZhidingYu ·
- 【源头】NVIDIA 发布 VFlash:视觉规划并行解码,专为物理 AI 提速 — ZhidingYu · 2026-11-06
- 【源头】VFlash 一次性输出几何向量，机器人推理提速 5.1 倍且误差降 61% — DrJimFan · 2026-11-06
- Jim Fan 发布 VFlash：System 1 视觉模型并行解析物理世界 — andrew_n_carr · 2026-11-06
- NVIDIA 解析 VFlash：面向 Physical AI 的通用结构化并行解码器 — ZhidingYu · 2026-11-06
- VFlash 团队发现:轻量 drafter 解码精度可反超自回归目标模型 — ZhidingYu · 2026-11-06
- VFlash 并行解码设计要点:基元边界对齐与位置对齐是关键 — ZhidingYu · 2026-11-06
- VFlash 视觉规划可冻结 VLM 特征对接动作模型,下游收益显著 — ZhidingYu · 2026-11-06
- 【源头】VFlash 视觉规划加速落地 Jetson Thor 与 H100,推理最快提速 5.7 倍 — ZhidingYu · 2026-11-06
- NVIDIA发布VFlash：面向物理AI的快速视觉规划VLM — ZhidingYu · 2026-11-06
另有 1 条近重复转述:ZhidingYu