ShotPlan 用可学习规划 token 做多镜头电影感视频生成
Tele-AI · hf · 2026-07-21
论文要点
ShotPlan 解决的是电影感视频生成中的一个核心难题：单镜头视频生成已经不错，但要做出有叙事结构、镜头切换清晰的多镜头视频，还需要显式规划。
- 方法引入了 可学习的 planning tokens，用于编码镜头级别的过渡线索。
- 这些 planning tokens 会和原始视频生成 tokens 结合，用来控制镜头切换的时间点。
- 作者进一步设计了 FRoPE（Fractional Temporal Rotary Position Embedding），让镜头过渡可以在帧级别建模。
结果
论文称 ShotPlan 在电影感视频生成任务上优于已有方法，主要体现在：
- 镜头管理更灵活
- 镜头之间的一致性更强
一句话说，就是把视频生成从“连续吐一段视频”推进到“按镜头组织的导演式生成”。
「多模态」频道最新
- Magnific 预告 10 月 28 日上线新功能：「We're making it move」 — cuenca · 2026-10-27
- Midjourney --sref 实测：美式复古风 Batman 插画三连 — gizakdag · 2026-10-27
- AI视频既非电影也非动画，创作者称它最擅长呈现梦境与潜意识 — Kyrannio · 2026-10-27
- 把儿子 31 年前的童言写成歌再喂给 SUNO：一首「大象饮料」儿童合唱 — NathanpmYoung · 2026-10-27
- RTX 3060 本地产 AI MV 播破 20 万:900 张图留 64 张,3 秒切片防崩脸 — Hwang0500 · 2026-10-27
- Firefly 视频编辑器实测：一句话 Quick Cut 将 32 秒素材剪成 20 秒 — LudovicCreator · 2026-10-26