ModAR 首个多模态自回归世界-动作模型：省 20 倍算力胜过基线
Adam Hung · hf · 2026-09-16
ModAR 是首个在预测动作前自回归去噪多种未来模态的世界-动作模型（WAM），让每次预测都能以前面已生成的模态为条件。
- 关键结论：预测点轨迹、DINO 特征和深度图对 WAM 有益，而额外预测未来 RGB 反而无稳定收益。
- 效果：ModAR 的顺序生成优于现有 WAM 形式，在所有数据规模下平均成功率最高。
- 效率：在视频模型初始化的 Flex-π 上，ModAR 成功率略高（75% vs 72%），训练 FLOPs 少约 20 倍且无需预训练。
- 真实机器人：在三个真实双手操作任务上超过基线，并能从人类视频中获益。
所属事件:ModAR 挑战 RGB 表征：3000 万参数胜 60 亿视频模型(3 条相关)→
「具身」频道最新
- Whoop 与 Apple Watch 双持同一条表带，健康监测两不误 — tinyfool · 2026-11-02
- REA 提出「大脑-小脑」异步机器人控制运行时，运行策略不等大脑 — Pengfei Zhou · 2026-11-02
- 机器人格斗正式登陆日本，东京将设常设竞技场 — cixliv · 2026-11-02
- REK 机器人格斗围笼现场照：人形机器人戴上拳套迎战 — broodsugar · 2026-11-02
- 博主晒自制折叠 iPhone「Duo」,担心铰链重蹈 crackgate 覆辙 — rudrank · 2026-11-02
- 卡尔加里大学充气机器人进 VR,动态触点渲染支持大空间触觉 — lukas_m_ziegler · 2026-11-02