通义发布实时音视频模型Wan-Streamer v0.2
通义实验室 · wechat · 2026-07-17
通义实验室发布 Wan-Streamer v0.2，主打实时双工的全模态理解与生成，目标是把“听、看、说、演”统一到一个端到端 Transformer 里。
关键指标
- 端到端交互延迟约 550ms（其中模型延迟 200ms、网络 350ms）
- 输出分辨率从 v0.1 的 192×336 提升到 640×368@25FPS
- 支持文本、音频、视频的实时理解与同步生成
架构变化
- 从传统“ASR → 大模型 → TTS → 动画驱动”的流水线，改为统一的 CausalTimeline
- 采用约每 160ms 一次的 StreamingUnit 闭环：感知输入、更新状态、生成音视频 latent、解码输出
- 用 Thinker-Performer 双通路拆分低延迟推理与高分辨率视频生成
- Thinker 单卡负责实时感知、状态更新和音频解码；Performer 用多 GPU 的 Ulysses 并行处理高分辨率视频 latent
- 通过时序重叠，把高画质带来的额外成本从延迟敏感路径中剥离
应用场景
- 视频通话式 AI 助手：口语陪练、面试模拟、心理咨询
- 场景化陪伴与教育：根据表情判断理解程度、厨房做菜指导
- 沉浸式游戏 NPC
- 无障碍交互：为听障/视障用户生成更自然的音视频回应
文末还给出项目地址和 v0.1、v0.2、v0.3 论文链接。
「多模态」频道最新
- FastH3-Live 升至 22fps：加速节点实测与 ComfyUI 显存避坑 — spartong945 · 2026-09-11
- Midjourney 风格参考分享:--sref 2912175708 — tisch_eins · 2026-09-11
- Astra 分镜+Minimax H3 分镜逐帧生成，视频创作成功率大增 — Hailuo_AI · 2026-09-11
- Hailuo 转推：MiniMax H3 MAX 一发生成 15 秒美食动画短片 — Hailuo_AI · 2026-09-11
- MiniMax Music 制作工具包 2.5 发布,新增完整母带处理链 — Vivid_Promise1700 · 2026-09-11
- ComfyUI 新节点发现器上线:按 star 增速过滤最新热门节点 — Luke2642 · 2026-09-11