微软 CodeVideoModel：用可执行代码前置于视频生成做镜头控制
机器之心 · wechat · 2026-10-25
当前主流视频扩散模型有两大根本局限：缺少显式物理约束（如抛球悬浮、碰撞不符合物理规律），以及文本/ControlNet 难以精确控制演员站位、物体尺度、相机时序等要素，镜头迭代只能靠反复重采样。
微软团队提出 CodeVideoModel，用可执行代码作为视频的控制表示：
- 可执行场景表示：CodingAgent 把 Prompt 转为 Three.js 程序，统一描述几何布局、物体运动、相机轨迹与事件时序，借鉴影视预演（previz）思路；程序渲染的低多边形预演视频不到一分钟，使镜头设计在生成前即可检查、修改和验证，支持轨迹编辑、物体增删、场景替换、“子弹时间”等效果，双摆、牛顿摆等物理过程可用方程计算预演。
- 免训练阶段化条件调度：系统实验发现预演条件的影响集中在去噪前约 25% 阶段，且 Qwen-VL 编码器通路主要影响外观、VAE 通路主要承载结构与运动约束、参考图决定外观。据此提出 Training-Free 调度：早期用预演建立结构，随后撤去条件、由文本与参考图引导外观细化，避免低多边形风格污染，模型全程冻结无需训练。
- 应用场景：覆盖动画、游戏、机器人轨迹控制、建筑/产品运镜、物理接地与 3D/4D 重建等。
项目主页：code-video-model.github.io，代码与数据集已开源。
「多模态」频道最新
- AI 视频以假乱真:纸箱南瓜装小孩和小狗同框吓到网友 — ainsoph00 · 2026-10-25
- MOSS-Image 提示词增强器打包成本地 Ollama 模型,可离线接入 ComfyUI — Ducth_IT · 2026-10-25
- Moss Image 生图效果惊艳，Reddit 用户求 Elden Ring 同款提示词 — lovelycontributer · 2026-10-25
- 蚂蚁系 inclusionAI 开源 0.5B 小型 TTS 模型，登 Hugging Face 热榜 — inclusionAI · 2026-10-25
- 一镜到底 AI 视频:摩托车穿越溺水城市救援名场面 — umesh_ai · 2026-10-25
- 肋纹玻璃+霓虹打光:Clayface 风格化出图 Prompt 分享 — michaelrabone · 2026-10-25