ShotStream实现实时多镜头视频生成
机器之心 · wechat · 2026-07-11
ShotStream：实时流式多镜头视频生成
香港中文大学 MMLab 与快手可灵团队提出了 ShotStream，这是一个面向交互式长视频创作的实时流式多镜头生成框架。作者指出，传统方法在多镜头长视频上通常延迟高、交互性差：用户往往要一次性提交完整剧本和分镜，生成过程中只要一个镜头出错就可能得重来。
主要创新
- 把多镜头合成改写为“基于历史上下文的下一镜头生成”，支持用户在生成过程中通过动态流式提示词实时调整故事走向。
- 双缓存记忆机制：
- GlobalCache 负责跨镜头一致性；
- LocalCache 负责单镜头内的流畅性。
- 为避免双缓存带来的时序歧义，作者引入了 RoPE 残差/不连续位置编码 来区分不同缓存。
- 提出 两阶段 Self-Forcing 蒸馏策略，缓解长视频自回归生成中的误差累积。
效果与实现
- 在 单张 H200 GPU 上实现了 16 FPS 推理速度。
- 相比双向模型，生成效率提升 25 倍以上。
- 论文已被 ECCV 2026 接收。
- 训练、测试代码和模型已开源。
文章还补充了实验结论：ShotStream 在跨镜头一致性、镜头切换控制、文本对齐等指标上优于或接近现有双向和自回归方法。
「多模态」频道最新
- Midjourney 风格参考分享:--sref 2912175708 — tisch_eins · 2026-09-11
- 3D 网站生成工作流公开：MCP 接 Codex，一句话出可玩游戏 — FellMentKE · 2026-09-11
- 用 GPT-6 Astra 加 Hyper3D MCP 免建模做 3D 落地页 — FellMentKE · 2026-09-11
- Astra 分镜+Minimax H3 分镜逐帧生成，视频创作成功率大增 — Hailuo_AI · 2026-09-11
- Hailuo 转推：MiniMax H3 MAX 一发生成 15 秒美食动画短片 — Hailuo_AI · 2026-09-11
- MiniMax Music 制作工具包 2.5 发布,新增完整母带处理链 — Vivid_Promise1700 · 2026-09-11