ShotStream实现实时多镜头视频生成
机器之心 · wechat · 2026-07-11
## ShotStream：实时流式多镜头视频生成 香港中文大学 MMLab 与快手可灵团队提出了 **ShotStream**，这是一个面向**交互式长视频创作**的实时流式多镜头生成框架。作者指出，传统方法在多镜头长视频上通常延迟高、交互性差：用户往往要一次性提交完整剧本和分镜，生成过程中只要一个镜头出错就可能得重来。 ## 主要创新 - **把多镜头合成改写为“基于历史上下文的下一镜头生成”**，支持用户在生成过程中通过动态流式提示词实时调整故事走向。 - **双缓存记忆机制**： - GlobalCache 负责跨镜头一致性； - LocalCache 负责单镜头内的流畅性。 - 为避免双缓存带来的时序歧义，作者引入了 **RoPE 残差/不连续位置编码** 来区分不同缓存。 - 提出 **两阶段 Self-Forcing 蒸馏策略**，缓解长视频自回归生成中的误差累积。 ## 效果与实现 - 在 **单张 H200 GPU** 上实现了 **16 FPS** 推理速度。 - 相比双向模型，生成效率提升 **25 倍以上**。 - 论文已被 **ECCV 2026** 接收。 - 训练、测试代码和模型已开源。 文章还补充了实验结论：ShotStream 在跨镜头一致性、镜头切换控制、文本对齐等指标上优于或接近现有双向和自回归方法。