Patch Policy 用冻结 ViT 和块因果掩码做机器人控制
furongh · x · 2026-07-23
这条引用的是一个机器人策略方法 Patch Policy 的核心思路：
- 先用一个冻结的、在互联网数据上预训练过的 ViT。
- 把它的所有 patch tokens 送入任意基于 Transformer 的策略头，比如 VQ-BeT 或 Diffusion Policy。
- 再加上一个 block-causal mask，以维持跨时间步的因果注意力。
被引用帖子强调，这个方案的关键在于：不从零端到端训练视觉骨干，而是复用一个冻结的视觉模型。这是一个篇幅很短但技术点很实的机器人学习思路。
所属事件:Patch Policy：0.7%参数量反超7B VLA模型(5 条相关)→
「具身」频道最新
- 亚马逊谷歌卖出6亿台音箱,AGI 时代为何无人再造智能音箱 — julianlehr · 2026-09-11
- ECCV26 口头论文：流匹配实现多视角点云配准 — ducha_aiki · 2026-09-11
- 波兰开发者做 iPhone 应用 可探测附近的 Meta 智能眼镜 — Low-Honeydew6483 · 2026-09-11
- 蚂蚁阿福用户达 1.5 亿，外滩大会展示 AI+硬件健康管理联盟 — APPSO · 2026-09-11
- JHU 开设全栈机器人学习课:组装机械臂、采数训练部署一条龙 — _krishna_murthy · 2026-09-11
- SyncWorld:少量视觉校准即可零样本模拟机器人跨视角交互 — ChongZzZhang · 2026-09-11