蚂蚁与西湖心辰开源双向世界模型Duo v1,虚拟主体可实时听说话
智东西 · wechat · 2026-11-18
蚂蚁技术研究院与西湖心辰发布并开源双向世界模型(RWM)Duo v1,让虚拟主体作为世界的一部分自主参与实时音视频交互,而非仅模拟物理场景。
- 架构:Intent 模块每约 0.7 秒决策开口或倾听并生成隐状态,Realization 模块据此流式生成音频与视频,两者通过统一时间线和注意力掩码保证因果同步;演示中虚拟角色能表达口渴并接过用户递来的冰水饮用。
- 训练:三阶段流程(Intent 因果参与训练、Realization 冻结 Intent 联合视听生成、分布匹配蒸馏压缩为 4 步生成器),并以固定首区段参考帧缓解 60 秒长生成中的画面退化。
- 效果:30 组真实交互、180 项人类评估中通过 168 项(93.3%),语言遵循性、语音可懂度、视觉身份稳定性均 100%,内容响应度仅 73.3%,是主要短板。
- 技术报告、训练代码与模型权重均已开源。
所属事件:蚂蚁联合西湖心辰开源双向世界模型 Duo(2 条相关)→
「多模态」频道最新
- LLaVA-OneVision-2.5 发布:首次证明视频编码输入胜过抽帧 — liuziwei7 · 2026-11-18
- LMMS-Lab 新研究:codec 采样在通用视频任务首超均匀帧采样 — liuziwei7 · 2026-11-18
- AI 生成帕丁森写真集以假乱真,光影质感已近乎实拍 — justin_hart · 2026-11-18
- 从 1000 步 DDPM 到 1 步生成:一篇扩散模型加速实战教程 — RisingSayak · 2026-11-18
- Clueso 发布 v2:AI 视频编辑器支持评论定位到秒、实时人机协作改片 — aakashgupta · 2026-11-18
- 求推荐:Minimax H3 还缺一个好用的 Director 节点 — Kind_Owl2245 · 2026-11-18