ShotStream实现实时多镜头视频生成
机器之心 · wechat · 2026-07-11
ShotStream：实时流式多镜头视频生成
香港中文大学 MMLab 与快手可灵团队提出了 ShotStream，这是一个面向交互式长视频创作的实时流式多镜头生成框架。作者指出，传统方法在多镜头长视频上通常延迟高、交互性差：用户往往要一次性提交完整剧本和分镜，生成过程中只要一个镜头出错就可能得重来。
主要创新
- 把多镜头合成改写为“基于历史上下文的下一镜头生成”，支持用户在生成过程中通过动态流式提示词实时调整故事走向。
- 双缓存记忆机制：
- GlobalCache 负责跨镜头一致性；
- LocalCache 负责单镜头内的流畅性。
- 为避免双缓存带来的时序歧义，作者引入了 RoPE 残差/不连续位置编码 来区分不同缓存。
- 提出 两阶段 Self-Forcing 蒸馏策略，缓解长视频自回归生成中的误差累积。
效果与实现
- 在 单张 H200 GPU 上实现了 16 FPS 推理速度。
- 相比双向模型，生成效率提升 25 倍以上。
- 论文已被 ECCV 2026 接收。
- 训练、测试代码和模型已开源。
文章还补充了实验结论：ShotStream 在跨镜头一致性、镜头切换控制、文本对齐等指标上优于或接近现有双向和自回归方法。
「多模态」频道最新
- Ludovic Creator 用 Seedance 2.5 打造 Snorricam 运镜系列短片 — LudovicCreator · 2026-10-27
- Gradium 发布免费朗读工具：仅 4000 万参数的多语言语音模型 Phonon — mattturck · 2026-10-27
- 无限递归漩涡提示词走红：让图像不断向内螺旋缩小 — azed_ai · 2026-10-27
- 170 多位 AI 创作者合拍一部集体电影，11 月 6 日首播 — Loo_Atreides · 2026-10-27
- 12GB 显存实测:不设 VRAM 上限,出图从 24 秒变 11 分钟 — Impossible-Mail-4619 · 2026-10-27
- Midjourney 创作者分享 sref 风格参考出图:暗黑哥特人物 — OVolosin82152 · 2026-10-27