Video-Coder：让 agent 写代码搭 3D 场景来驱动可控视频生成

UCF-Ai-LLMs · hf · 2026-11-09

UCF、微软研究院、清华、UNC 等机构推出 Video-Coder，首个代码驱动的视频生成 agent：由 agent 自主编写并执行代码构建动态 3D 场景（DRAFT Video），为下游视频生成模型提供结构与运动信号，解决精确空间结构、连贯运动与可控场景合成的难题。

团队构建了 Video-Coder Harness 统一交互环境（代码执行 + 3D 渲染 + 执行反馈），并整理 Video-Coder-SFT-6k 与 Video-Coder-RL-2k 两个数据集，先用 SFT 再用结合执行奖励与视频奖励的强化学习训练。