通义发布实时音视频模型Wan-Streamer v0.2
通义实验室 · wechat · 2026-07-17
通义实验室发布 Wan-Streamer v0.2，主打实时双工的全模态理解与生成，目标是把“听、看、说、演”统一到一个端到端 Transformer 里。 **关键指标** - 端到端交互延迟约 **550ms**（其中模型延迟 200ms、网络 350ms） - 输出分辨率从 v0.1 的 **192×336** 提升到 **640×368@25FPS** - 支持文本、音频、视频的实时理解与同步生成 **架构变化** - 从传统“ASR → 大模型 → TTS → 动画驱动”的流水线，改为统一的 **CausalTimeline** - 采用约每 **160ms** 一次的 StreamingUnit 闭环：感知输入、更新状态、生成音视频 latent、解码输出 - 用 **Thinker-Performer** 双通路拆分低延迟推理与高分辨率视频生成 - Thinker 单卡负责实时感知、状态更新和音频解码；Performer 用多 GPU 的 **Ulysses** 并行处理高分辨率视频 latent - 通过时序重叠，把高画质带来的额外成本从延迟敏感路径中剥离 **应用场景** - 视频通话式 AI 助手：口语陪练、面试模拟、心理咨询 - 场景化陪伴与教育：根据表情判断理解程度、厨房做菜指导 - 沉浸式游戏 NPC - 无障碍交互：为听障/视障用户生成更自然的音视频回应 文末还给出项目地址和 v0.1、v0.2、v0.3 论文链接。