机器人论文：稠密 patch 特征胜过更大的视觉语言模型
stepjamUK · x · 2026-07-22
这篇机器人论文的核心观点是：做精细操控，不一定需要一个 10 亿参数级的视觉语言模型，关键在于别把视觉里的空间细节压扁。
Patch Policy 做了什么
- 不把每帧观测压成一个全局向量或 CLS token
- 也不从头训练视觉骨干
- 而是直接把预训练 ViT 输出的稠密 patch 特征，冻结后送进任意 transformer policy head
为什么有效
作者认为，方法的关键是把两种注意力结构分开：
- 帧内使用双向注意力，保留细粒度空间关系
- 跨帧使用因果 masking，保证时间顺序正确
结果
- 在 4 个仿真和3 个真实测试套件上，稠密 patch 特征相对全局池化 baseline 提升约 40%
- 对比微调后的 OpenVLA-OFT，Patch Policy 在仅约 0.7% 参数量下仍领先 18%，推理延迟约 11 ms
- 一旦把 patch 特征换成 pooled 或卷积压缩特征，性能会全面下降
作者的结论是：对操控任务来说，真正重要的是保留 patch 级结构，而不是把 backbone 做得更大。
所属事件:Patch Policy：0.7%参数量反超7B VLA模型(5 条相关)→
「具身」频道最新
- ROS 社区迎来新项目负责人 ahcorde，规划 2027 版本 — ___Mufasaa · 2026-10-27
- ROS 社区 10 月 29 日在谷歌纽约办 Meetup，三家公司机器人团队将分享 — kscottz · 2026-10-27
- Tesla 休斯顿 robotaxi 服务区大幅扩张，覆盖范围远超旧围栏 — Polymarket · 2026-10-27
- Walden Robotics 教机器人『呼叫求助』，用远程辅助换取快速部署 — adnothing · 2026-10-27
- 折叠屏铰链由数十个高精度零件构成，一粒沙即可毁掉屏幕 — BenBajarin · 2026-10-27
- 不改一个权重，机器人精度任务从 0/10 提到 9/10 — hbouammar · 2026-10-27