通义发布实时音视频模型Wan-Streamer v0.2
通义实验室 · wechat · 2026-07-17
通义实验室发布 Wan-Streamer v0.2，主打实时双工的全模态理解与生成，目标是把“听、看、说、演”统一到一个端到端 Transformer 里。
关键指标
- 端到端交互延迟约 550ms（其中模型延迟 200ms、网络 350ms）
- 输出分辨率从 v0.1 的 192×336 提升到 640×368@25FPS
- 支持文本、音频、视频的实时理解与同步生成
架构变化
- 从传统“ASR → 大模型 → TTS → 动画驱动”的流水线，改为统一的 CausalTimeline
- 采用约每 160ms 一次的 StreamingUnit 闭环：感知输入、更新状态、生成音视频 latent、解码输出
- 用 Thinker-Performer 双通路拆分低延迟推理与高分辨率视频生成
- Thinker 单卡负责实时感知、状态更新和音频解码；Performer 用多 GPU 的 Ulysses 并行处理高分辨率视频 latent
- 通过时序重叠，把高画质带来的额外成本从延迟敏感路径中剥离
应用场景
- 视频通话式 AI 助手：口语陪练、面试模拟、心理咨询
- 场景化陪伴与教育：根据表情判断理解程度、厨房做菜指导
- 沉浸式游戏 NPC
- 无障碍交互：为听障/视障用户生成更自然的音视频回应
文末还给出项目地址和 v0.1、v0.2、v0.3 论文链接。
「多模态」频道最新
- 开发者观点：生成式游戏不必实时渲染，回合制交互同样可行 — djcows · 2026-10-27
- Omniflash 与 Minimax H3 唇同步效果实拍对比 — Uszko_Visuals · 2026-10-27
- 用 MiniMax H3 生成的短片《Odissey of Aeons》 — Musikalandia · 2026-10-27
- 开源本地视频工作室 Remiqora Video：一个想法到 4K 成片 — inikolax · 2026-10-27
- 单个 HTML 文件无 LLM 调用即可生成创意图形与海报 — Afinetheorem · 2026-10-27
- 5000 美元悬赏微调儿童图像模型，ostris 以 MOSS 底座夺冠 — ostrisai · 2026-10-27