Patch Policy 用冻结 ViT 和块因果掩码做机器人控制
furongh · x · 2026-07-23
这条引用的是一个机器人策略方法 Patch Policy 的核心思路：
- 先用一个冻结的、在互联网数据上预训练过的 ViT。
- 把它的所有 patch tokens 送入任意基于 Transformer 的策略头，比如 VQ-BeT 或 Diffusion Policy。
- 再加上一个 block-causal mask，以维持跨时间步的因果注意力。
被引用帖子强调，这个方案的关键在于：不从零端到端训练视觉骨干，而是复用一个冻结的视觉模型。这是一个篇幅很短但技术点很实的机器人学习思路。
所属事件:Patch Policy：0.7%参数量反超7B VLA模型(5 条相关)→
「具身」频道最新
- Skyfall AI 推出工程世界模型 SKY-001:文本转 CAD 构建,3.9 秒 vs GPT-6 的 199 秒 — rohanpaul_ai · 2026-10-27
- 欧洲第10国拉脱维亚批准 Tesla FSD,马斯克称赞小国审批最快 — elonmusk · 2026-10-27
- WanGP v18.81 支持 Hy-Nomas 世界模型，8GB 显存可用 WASD 探索 — cocktailpeanut · 2026-10-27
- NVIDIA 开源 FLORA：机器人数据引擎，成本仅 GPT-6 Astra 的 1/125 — nvidia · 2026-10-27
- 具身智能创业的隐藏难题：机器人公司需要另一种运营纪律 — ___Mufasaa · 2026-10-27
- π0.5 实验：演示数从 10 增至 438，放球入碗成功率 7%→83% — stingning · 2026-10-27