Patch Policy 保留密集空间细节做机器人操控
chris_j_paxton · x · 2026-07-23
Patch Policy：把空间细节保留下来做机器人操控
这篇工作指出，很多视觉运动策略要么把整帧压成一个向量，丢掉了精细空间信息；要么从头训练视觉骨干，放弃了大规模预训练的收益。Patch Policy 的思路是直接保留 ViT 产生的密集 patch 特征，用于操控策略学习。
主要方法
- 将多视角观测编码为密集 patch token。
- 可选地拼接目标图像或目标向量作为条件。
- 采用 block-causal attention mask：帧内全注意力、帧间因果约束。
- 由每帧最后一个 patch token 预测动作。
价值
- 更好保留精细空间信息，适合精密操控。
- 兼顾大模型视觉预训练的收益。
- 仍可与常规 transformer policy head 兼容。
配图还展示了该方法在不同策略头上的实验形式，以及它在保持反应速度的同时提升专长分数恢复的效果。
所属事件:Patch Policy：0.7%参数量反超7B VLA模型(5 条相关)→
「具身」频道最新
- 亚马逊谷歌卖出6亿台音箱,AGI 时代为何无人再造智能音箱 — julianlehr · 2026-09-11
- ECCV26 口头论文：流匹配实现多视角点云配准 — ducha_aiki · 2026-09-11
- 波兰开发者做 iPhone 应用 可探测附近的 Meta 智能眼镜 — Low-Honeydew6483 · 2026-09-11
- 蚂蚁阿福用户达 1.5 亿，外滩大会展示 AI+硬件健康管理联盟 — APPSO · 2026-09-11
- JHU 开设全栈机器人学习课:组装机械臂、采数训练部署一条龙 — _krishna_murthy · 2026-09-11
- SyncWorld:少量视觉校准即可零样本模拟机器人跨视角交互 — ChongZzZhang · 2026-09-11