Wan-Streamer:把视频看成世界+事件流
bronzeagepapi · x · 2026-07-18
阿里 Wan 团队提出 Wan-Streamer v0.3,核心观点是把视频统一理解为 “世界 + 事件流”。
- 世界:场景、人物、声音、环境等相对稳定的上下文
- 事件流:随时间变化的内容,如说话、动作、手势、声音反应等
这样定义后,模型可以把“给定世界和输入,实时预测世界如何移动、变化和响应”作为通用预训练任务。论文还强调它面向实时全双工音视频交互:把事件流当作 agent 的语言、行为和动作输出,目标是低延迟同步生成。图中给出的指标包括 640×368、25 FPS、160ms streaming unit、约 200ms 模型侧响应延迟、约 550ms 总交互延迟(在 350ms 双向网络预算下)。
「多模态」频道最新
- ComfyUI Krea2 风格提示词节点复活:新分支更新大规模风格库 — Winter_unmuted · 2026-10-27
- 无 LLM 调用的「创意生成器」:单个 HTML 文件在浏览器内产出复古海报 — Afinetheorem · 2026-10-27
- 网友用 Copilot 想象并归档自己的 80/90 年代冬季穿搭概念 — Valuable-Sky2134 · 2026-10-27
- 开源钢琴转写模型 Transkun 实测:连延音踏板事件都能准确识别 — alexanderchen · 2026-10-27
- fal 上线 FLUX 3 Image Klein LoRA 训练:支持 10 张参考图、单请求叠加 3 个 LoRA — OdinLovis · 2026-10-27
- 女朋友总想挤痘?网友用 AI 把她自拍做成可玩广告游戏 — CurieuxExplorer · 2026-10-27