Scaling Video Generation for Reasoning: At What Cost?
Weihang Guo, Xiaoyu Wu, Yifei Wang, Niloofar Mireshghallah, Lydia E. Kavraki
cs.CV, cs.AI, cs.LG
2026-09-29
在可控的魔方视频基准上，验证 MSE 走低不代表隐状态推理变强；给 20M 模型加符号状态监督，以 1/30 算力追平 550M 纯视频模型。
视频生成模型正被当成世界模型用：给一帧初始画面加一段动作指令，让它预测环境会怎么变。失败方式很安静，画面看着顺，内容和前序动作对不上。这篇把这种失败逼到明面上：2×2×2 魔方从复原状态出发，固定机位只拍三个面，提示词给九步转动，模型生成完整视频。贴纸会转到看不见的面再转回来，要预测重新露出的颜色，必须推断中间每步动作怎么改了隐藏状态。
这个设计把评测和供数都做干净了：初始状态加动作序列唯一确定每个未来状态，模拟器给出精确答案，不需要人工评分，也不依赖当裁判的大模型；动作序列可以无限采样，作者据此从 20M 到 1B 训了七个尺寸的自回归（AR）和双向（Bidir）视频扩散 Transformer,单 epoch,每条训练视频只用一次。
符号监督是最有信息量的干预：让 20M 视频模型额外预测全部 24 个贴纸的颜色分布，交叉熵监督，预测分布经 stop-gradient 后反馈给单独的视频生成 pass。总损失 L = Lflow + 0.1·Lstate,训练数据与基线完全同序同量。两个变体都监督全部 24 个贴纸，只反馈可见 12 个分布的 Front12 就已拿到全部收益。
| 设置 | 指标 | 结果 |
| 70M AR,约 0.1 PF-days | 帧准确率 | 44.6% |
| 1B AR,同一算力点 | 帧准确率 | 0.3% |
| 1B AR,3.14 PF-days | 帧准确率 | 83.7% |
| 1B vs 70M,各 1.5M 视频 | MSE / 帧准确率 | 1B 的 MSE 更低，准确率 3.67% 对 41.00% |
| 120M AR,训练量 5M→8M 视频 | 帧准确率 | 48.11%→49.33% |
| 20M + 符号监督，3M 视频 | 帧准确率 | 31.1%→67.3%(0.0445 PF-days) |
| 550M 纯视频 | 帧准确率 | 67.1%(1.33 PF-days) |
三个反差比表格本身更有用。270M 模型用 0.034 PF-days 就能画出正确的立方体几何，第一次画对全部 12 个贴纸要等到 0.57 PF-days,差 17 倍，「看着像」和「算得对」是两种能力。把任务搬到离散向量空间，2.8M 参数的小 Transformer 直接做到 99.86% 全轨迹准确率（双向、20 步序列），只用 4×10⁻⁴ PF-days,难的不是状态追踪，是让视频生成过程维持这些信息。把六个面全部露出，AR 平均帧准确率从 34.67% 涨到 93.44%,部分可观测才是主要难度来源。
幂律外推部分别当真：同一曲线取中段或末段拟合，98% 准确率对应的算力差出好几个数量级（AR 帧准确率 4.2×10⁵ 对 23.55 PF-days),论文自己标注这是示意投影，不是训练预算预测。
对做世界模型、机器人视频预测的团队，这套协议便宜且可复现：任务固定、答案精确、数据无限，不需要 frontier 模型。两条结论带得走。验证损失不能跨模型比较推理能力，1B 的 MSE 比 70M 低、状态准确率却差一个数量级，选模型必须直接评状态正确性。显式状态监督在 20M 上用 0.0445 PF-days 拿到 67.3%,550M 纯视频要 1.33 PF-days 才到 67.1%,三十倍差距说明 scaling 之外还有便宜的路。「转对了但颜色错」这种静默失败，恰好是下游控制最怕的那类。
诚实地讲，这是方法论层面的贡献，不是能力跃迁。1B 最终也到 83.7%,scaling 仍有效，只是贵。
作者自述的边界：贴纸表征是手工设计的，不保证推广到其他环境；幂律拟合只作示意。读完还有几处存疑：单一合成环境、单一渲染风格，对真实视频的迁移完全没验证；符号监督依赖已知的状态结构（24 个贴纸），真实任务里这个监督信号从哪来，论文没有答案；帧准确率要求 12 个贴纸全对，口径偏严，部分正确的分布只能看 sticker accuracy；每条视频只训一次，scaling 曲线干净了，但和多 epoch 的实际训练实践脱节。