MaLiang-Harness: A Programmable Path to Image and Video Generation
Haoyu Zhao, Zihao Zhang, Xudong Wang, Jiaxi Gu, Zuxuan Wu, Yu-Gang Jiang, Shuicheng Yan
cs.CV
2026-09-28
新加坡国立、复旦与腾讯提出可编程作图框架MaLiang-Harness。GPT-6-Astra在50题上全跑通且48题过全部质量门槛，同为37分的两款Luna合格率差44个百分点。
过去十年高质量图像和视频生成走的是直接合成。GAN、diffusion、flow matching 学的是像素或 latent 的分布,过程本身不可检查。多模态大模型(MLLM)现在能把意图写成可执行的视觉程序,交给 Canvas、SVG、Scene2d、Three.js 这类后端画出来。代码能指定构图、时间轴和镜头。
程序跑通仍可能画面不对。物体可以落在错误位置,动画可以发生在错误时刻。论文把这种代码级正确、视觉需求未满足的落差叫做 Program-to-Visual (P2V) gap。要补上它,模型必须根据渲染结果改代码和计划,还得把作品状态跨轮次保住,否则修一处坏一处,历史版本也回不去。
MaLiang-Harness 由新加坡国立大学、复旦大学和腾讯提出,把作图和做视频收成同一套构造、检查、修订循环。图像是某个程序在指定内容时刻的一帧,视频是同一程序在时间轴上的采样。外观难用代码表达时,可以插入用户图、搜索图或生成图。
三块机制共用同一个 revision 编号。
交付判定里的 MLLM 打分是自我评估,不是独立的感知质量测量。
评测用两套自建集:MaLiang-IBench 50 条文生图、11 个闭源模型;MaLiang-VBench 13 条文生视频、4 个模型。质量由 GPT-6-Sol 按 5 分制打,图像看对齐、美学、构图,视频再加运动连贯,门槛 ≥4。失败样本不计入质量均值。DeepSeek-V4-Pro 这组没有视觉反馈。
图像侧,能跑通和画面过关要分开看。
| 模型 | 生成成功 | 三项全过关 | Time/Qualified |
| GPT-6-Astra | 50/50 | 48/50 | 3.70 min |
| GPT-6-Sol | 48/50 | 46/50 | 3.52 min |
| GPT-5.6-Sol | 48/50 | 43/50 | 3.28 min |
| GPT-5.6-Luna | 46/50 | 22/50 | 4.49 min |
| Kimi-K2.7-Code | 20/50 | 12/50 | 29.84 min |
| DeepSeek-V4.1-Flash | 6/50 | 6/50 | 27.15 min |
GPT 系列生成成功率 92%到100%,DeepSeek 与 Kimi 为 12%到40%。三个 GPT-6 变体所有成功图都过了美学和构图门槛,剩下的失败几乎全是 prompt 对齐。Kimi-K3 对齐均值 4.56,但只建立在 9 张成功图上,不能跟全量 50 题比。早期失败会压低耗时,DeepSeek 和 Kimi 的成本数字不能当省钱证据。
视频更陡。Astra 13/13 跑通、10/13 四项全过(76.9%),运动连贯最紧(美学 13/13、运动 10/13)。GPT-5.6-Sol 7/13 跑通、5/13 全过(38.5%)。Kimi-K2.6 完成 3 条、0 条全过。DeepSeek-V4.1-Flash(64K) 13 条全失败,其中 5 条把 token 预算烧光。
对照公开的 Artificial Analysis Intelligence Index v4.3.2,11 个模型的通用能力分与作图全过关率 Spearman ρ=0.65。同为 37 分的 GPT-5.6-Luna 和 GPT-6-Luna,全过关率分别是 44% 和 88%,差 44 个百分点。Kimi-K3 指数 44,全过关只有 18%。
通用榜预测不了可编程作图。
海报、流程图、分镜、风格混搭短片这类任务,卖点是可编辑和可追溯:构图和运动写在代码里,修的是程序不是像素,还能回滚。Fig. 10 一条六格科研插图的轨迹里,布局和曲线由代码画,照片资产试了四次、裁进第三次;数值图过关、照片格不过,输出只能当草稿。
它测的是把空间和外观约束翻译成可执行表示、再用渲染反馈去改的能力,和刷知识、推理榜不是一回事。两款 Luna 的 44 点落差已经够用。
别拿 AA 分挑作图模型。
这是一套 harness 加评测,不是新的生成模型。后端仍是 2D/3D 绘图 API,照片级真实感论文自己也没做出来。GPT-6 全家在自己的 judge(GPT-6-Sol)下排名靠前,跨家族比较要打折。
换 path tracing 后端能做出玻璃透射和接触阴影,采样从 512 提到 1024 可降噪,但局部几何修改会带出新的重叠伪影。在 Canvas 上加「更细笔触」的修订提示,草地覆盖和石纹细节反而变少,风格化还在。修订也会停住:推理停滞、语义活锁、无限 agent 循环。PEG、TGP、REV 能保存和对照,不保证下一次修改有效。Fig. 8 里检查到 token 耗尽也没给出纠正编辑。终止靠调用次数、工具、时间和 token 上限,完成靠交付条件,两套标准是分开的。
评测本身偏窄。IBench 50 题、VBench 13 题,全是闭源模型,预算和反馈配置并不统一。质量均值只在成功样本上算,低成功率模型的分数不可比。时间需求用三个时间戳抽样,明确不证明连续性。judge 是 GPT-6-Sol,被评名单里有 GPT-6-Astra、Sol、Luna,同门打分偏差没有单独报告。DeepSeek-V4-Pro 的公开 AA 分用的是 0813 checkpoint,实测 checkpoint 未确认。