Coda-DaVinci: Reimagining Video Generation with Code2Video
Yiyan Ji, Qixun Wang, Yang Shi, Zhuoran Zhang, Yifan Xu, Tengfei Liu, Yuqi Tang, Xiaohan Zhang, Shujie Li, Jiafu Tang, Xuanyu Zhu, Xinyu Liu, Yan He, Yushuo Guan, Zihao Wang, Xianghua Ying, Shixuan Liu, Haotian Wang, Wenjing Yang, Zhaoxiang Zhang, Yuanxing Zhang, Pengfei Wan, Jiaheng Liu
cs.CV
2026-11-20
快手 KlingAI Research 联合多校系统拆解 Code2Video 范式,提出按实体分配建模粒度的 Coda-DaVinci 框架,视频指令跟随 WER 从 59.21% 降到 11.08%。
视频生成模型长期有三块硬骨头:多步指令跟随(「把叶子包的年糕切开,再把叶子剥开」这种连续动作)、跨镜头的场景状态(镜头移开再回来,刚扫走的落叶不该凭空重现)、物理合理性。直接生成在这三项上都不稳定,Seedance 这一代模型也一样。
Code2Video 是另一条路:coding agent 写可执行代码搭出 3D 场景代理,渲染成代理视频,再让视频模型照着代理合成画面。VideoCoCo、Code Video Model 走的都是这条路,场景状态和轨迹控制确实改善,但代理怎么建一直靠手感。建得太细,代理里僵硬的动画会被视频模型照搬;建得太粗,控制力又没了。这篇由快手 KlingAI Research 联合北大、南京大学、清华等机构完成,先用控制变量实验回答「代理怎么建、prompt 怎么写」,再按结论搭出 Coda-DaVinci 框架。
工作分两段。
第一段是控制变量实验。固定其余条件轮换三个因素,在场景回访(WorldMemBench)、复杂指令(VGIF-Bench)、物理过程(Principia)三类任务上请评审盲打 0-3 分,评一致性、指令跟随、物理合理性、自然度四个维度:
胜出组合:中粒度 + 物理模拟 + agent 自写 prompt。
第二段是框架 Coda-DaVinci,把实验结论落成工作流:
所有方法统一用 Seedance 2.5 做最终合成,基线覆盖直接生成、带工具的 agentic 生成和四种 Code2Video 方法:
| 方法 | Last Exam 物理↑ | R2M NMR↑ | VTR WER↓ |
| 直接生成 | 47.16 | 0.347 | 59.21 |
| Codex + Blender | 59.49 | 0.936 | 22.30 |
| Claude + Blender | 65.52 | 0.950 | 50.88 |
| VideoCoCo | 59.37 | 0.931 | 27.11 |
| CodeVideoModel | 53.86 | 0.932 | 20.74 |
| Coda-DaVinci | 60.77 | 1.011 | 11.08 |
指令跟随的差距最大:词错误率从直接生成的 59.21% 压到 11.08%,低于全部 Code2Video 基线。Claude + Blender 是个反例:同样的工具,prompt 不管好,词错误率 50.88%,只比直接生成略强。场景记忆(R2M 的 NMR)从 0.347 提到 1.011,是所有对比方法里最高的。物理 60.77,比直接生成高 13.6 分,但输给 Claude + Blender 的 65.52,论文的解释是 coding 模型实现物理行为的能力有差距。
视觉真实性是另一面。T2AV-Compass 的 200 个任务上,Coda-DaVinci 在 Code2Video 方法里真实感和视觉指令跟随都最高(70.26 / 67.99),真实感已接近直接生成,这是路由的功劳:纯动作片段根本不经过代理。
消融:去掉独立审查、把路由固定成全程 3D 建模、所有实体统一用中粒度,四项指标全部下降,其中去审查对一致性伤害最大。Blender 在四个维度上全优于 Three.js,代价是每个 case 约两倍 agent token。换四个 coding agent(GPT-6-Astra、GPT-6.1-Sol、Claude Opus 5.5、Gemini 4 Argon)、三个视频模型,分数接近,框架对底层模型不挑。
长视频与多轮交互(29 个 25-90 秒序列、50 个连续交互场景):3D 场景复用带来事件结构和交互一致性的提升,但转场稳定性和场景设定遵循低于直接生成。
这份工作给 Code2Video 范式补了第一份系统设计指南,三条结论都能直接搬走:粒度按实体分配、物理交互交给仿真、prompt 让建场景的 agent 自己写。没有一条绑死在特定模型上。
对做视频产品的人,能力边界比框架本身更有用。镜头回访后的状态保持、多轮交互的状态延续,diffusion 模型自己解不了,显式 3D 表示顺手就解了,0.347 对 1.011 把这个差距量化出来。反过来说,纯动作任务上 3D 代理是负资产,「什么时候不建模」这个路由决策比任何单一建模技巧都值钱。成本账也摆出来了:要质量用 Blender,token 翻倍;Three.js 是省一半的折中。
论文自己承认三处:运动自然度上,所选的中粒度配置输给粗代理组;长视频的转场稳定性和场景设定遵循低于直接生成;物理分数受 coding 模型能力封顶,Claude 配 Blender 比 Codex 配 Blender 高出约 6 分。
读下来的疑点:消融分数来自 Gemini 3.8 Flash 当 judge 打 1-5 分,judge 偏好没有讨论;长视频实验只有 29 加 50 个 case,样本偏小;整套流程架在 GPT-6-Astra、Claude Opus 5.5、Seedance 2.5 这一级闭源模型上,复现门槛高,结论也可能随模型换代漂移。