中大清华等 9 机构发布 EWAM:机器人自发涌现"理解-想象-行动"分层
青稞AI · wechat · 2026-10-19
中山大学、清华大学等 9 家机构提出统一具身模型 EWAM,将视觉-语言专家(Qwen3-VL-2B)、视频预测专家(Wan2.2-TI2V-5B)和动作专家放进同一个 flow-matching DiT 联合训练,只用非对称注意力掩码规定动作可读哪些信息,不做任何逐层监督。
核心发现:注意力分工自发涌现
- 逐层统计动作注意力发现清晰三段:第 0–9 层 75.4% 看 VL(理解指令)、约第 13 层起转向预测未来帧(想象)、第 20–29 层 59.5% 看动作自身(精修轨迹),与人类"先理解再想象后行动"对应
- 分工在训练最初几百步即萌芽,RoboTwin 50 个任务全部出现完整三段,不同去噪步间注意力分布相关系数 0.998
- 按层屏蔽验证因果性:中层移除预测未来帧后成功率从 92.8% 崩至 3.55%;注入他人轨迹的"未来"使 5 任务成功率从 25/25 掉到 4/25,有的动作真的跟着别人的未来走
性能
- RoboTwin2.0 clean-to-random:平均 77.2%,比 π0.5 高 26.1 点(Fast-WAM 在随机场景仅 1.9%)
- LIBERO 四套件平均 98.8%;真机 Franka/Dobot/Unitree G1-D 七任务平均 72.9%(π0.5 为 51.4%)
- 人类第一视角视频预训练使跨本体迁移成功率从 36.2% 提至 66.9%;头显+Tracker 采集的人类示范 1000 条可将倒水成功率从 10% 提至 60%,成本远低于遥操作
- 加子任务/进度预测头后,长程排序加堆叠任务从 1.5% 提至 16.0%,真机分拣正确放置数从 1.0 提至 2.2
代码与四个 checkpoint 已开源。"按来源统计注意力再按层屏蔽"的方法也可用于检验其他多专家模型中预测分支是否真被动作用上。
「具身」频道最新
- Sergey Levine：机器人正重演 LLM 的提示词革命 — adityaag · 2026-10-23
- Sergey Levine 访谈全文：机器人正重演 LLM 的范式转变 — adityaag · 2026-10-23
- Embodied First Exam：一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- 人行道上的配送机器人实拍,自己走完送货最后一公里 — HomeNowWTF · 2026-10-23
- 用 ESP32 小屏给 Claude Code 做 status 卡片，Go 本地检测状态 — tonylook · 2026-10-23
- Dream Labs 出 stealth:双手机器人基座模型 Dream-1,时租仅 3 美元 — scott_e_reed · 2026-10-23