机器人直接用视频生成模型当策略:FLUX 骨干零微调胜过 VLA
lukas_m_ziegler · x · 2026-10-26
作者在柏林 NVIDIA GTC 上体验了 mimic robot公司的机器人:自研五指灵巧手、双腕相机加工作区相机,自研全身阻抗控制栈。
最大亮点是策略架构——它与 Black Forest Labs 基于 FLUX 3 骨干合作开发 FLUX-mimic:
- 动作解码器很轻量,直接从视频预测路径的中间特征读出动作;95% 以上的训练算力都花在视频预测上,动作只是薄薄一层读出
- 视频骨干完全冻结,无需任何微调;据 Black Forest Labs 称,这种设定下解码器已超过此前 VLA,而 VLA 在该设定下 reportedly 直接失效
- 操作所需的接触与因果结构并非单独目标教出来的,而是从视频表征中自然涌现
「具身」频道最新
- 人形机器人 DRAM 需求暴涨20倍?算账后仅占2026产能0.04% — zephyr_z9 · 2026-10-26
- Microduck 爆红后团队公开技术细节:8×8 深度传感器实现 2cm 重定位 — mishig25 · 2026-10-26
- 机器人用手肘撑地起身的动作引热议:流畅得像人 — iamfakhrealam · 2026-10-26
- 中国造 eVTOL「亿航 EH216-S」全球 23 国累计近 10 万次飞行 — LoganGrasby · 2026-10-26
- 丰田每年豪掷 64 亿美元押注人形机器人与工厂自动化 — The Decoder · 2026-10-26
- 港中文等发布 RoboJudge 基准:800 段人工标注视频评估多模态模型裁判能力 — CUHK-CSE · 2026-10-26