冻结视觉骨干即可训练的机器人策略，消费级 GPU 也能跑
mayfer · x · 2026-07-25
一个机器人策略架构的简化方案：冻结 SOTA 视觉 backbone，把所有 patch token 送进一个小型 transformer policy，再加上 block-causal mask。
- 不需要 VLM，也不需要对 backbone 做 fine-tuning。
- 这套做法可用于 VQ-BeT、Diffusion Policy 等 transformer-based policy。
- 作者还称它可以直接在 消费级 GPU 上训练。
配图展示了整体结构：左侧是多视角观察与目标图像/向量经过视觉编码器后的 observation trunk，右侧是带 frame-wise attention 的 policy 和 action head，用于按时间输出动作。
「具身」频道最新
- NVIDIA 开源 MotionBricks：人形机器人动作生成达 15000 FPS、2ms 延迟 — _akhaliq · 2026-10-26
- 用户用 Claude Code 拆解本田车机：发现 root 后门与静默装 APK — IndraVahan · 2026-10-26
- Temple 健康设备开启预售，用户质疑：未见实效前谁愿戴 — abhishekcode42 · 2026-10-26
- FLASH 仿真框架：单卡 RTX 5090 上分钟级学会布料折叠 — ChongZzZhang · 2026-10-26
- Luke Wroblewski 细节控：iPhone Duo 圆角复刻初代 iPhone — LukeW · 2026-10-26
- 人形机器人两年跑赢人类：半马破纪录、百米超博尔特 — ben_j_todd · 2026-10-26