Code Video Model:用代码当引擎做可控视频生成,无需训练
angrypenguinPNG · x · 2026-10-12
团队发布 Code Video Model,把「预演(previs)」概念引入视频生成:用 agentic coding 作为可控视频生成的引擎,论文、代码、数据均已开源。
核心思路:
- 给定 prompt,coding agent 写出一个可执行程序,负责场景布局、物体运动、镜头轨迹,并用物理公式计算动力学,渲染出不到一分钟的 proxy 视频 + 参考图
- 代码可精确编辑每个元素,动力学是算出来的而非模型「想象」的,因此天然物理接地、可控
- 关键创新 early-step conditioning:无需额外训练,只在采样早期步骤让预训练视频模型关注 proxy 视频的结构,之后移除该条件,解决最终成片复制 proxy 平面外观的问题,同时保留参考图的外观
应用覆盖物理运动、子弹时间、游戏画面、场景编辑、世界模型数据、3D/4D 重建与机器人仿真,并发布 CodeVideoBench 基准评估可控视频生成。
「多模态」频道最新
- Minimax H3 本地跑远景人脸模糊，Reddit 用户求解 — Unique_Bag1444 · 2026-10-12
- 本地 SDXL 角色设计：固定剪影配色，只开放服装表情探索 — Alchemistwiza · 2026-10-12
- LoRA Pilot 教程第三集：角色数据集浏览器上传与标注实操 — no3us · 2026-10-12
- vivo 与西电提出 StereoBind:让视频生成配上有空间感的立体声 — Hanmo Chen · 2026-10-12
- Reddit 用户求助:MiniMax 声音克隆角色总提前抢话怎么办 — Nokersoek · 2026-10-12
- 开发者自研 AI DJ 应用:自动匹配 BPM 调性并修复 AI 音乐漂移 — AIandDesign · 2026-10-12