Glance Forcing:单条轨迹蒸馏把视频自回归化成本降上万倍
Zhuobai Dong · hf · 2026-10-15
武汉大学、新加坡国立大学等团队提出 Glance Forcing,大幅降低「双向扩散模型蒸馏为因果少步学生」的成本——这是实时因果视频合成与视频世界模型的关键步骤。
问题:现有管线需要离线 PF-ODE 轨迹,耗费数万 GPU 小时与 TB 级存储;作者把轨迹监督压到极致的单样本,发现质量严重崩塌,根源是教师轨迹在高噪(语义布局与运动)与低噪(细纹理)区间曲率和优化行为截然不同,单一学生无法同时拟合,产生表征干扰。
方案:将去噪轨迹解耦为 slow/fast 两个互补专家,各自用阶段定制目标训练,教师全程冻结。这还揭示了一个通用机制:PF-ODE 蒸馏主要负责拉直少步轨迹几何,分布匹配阶段独立决定分布质量。
结果:仅用 1 条 PF-ODE 轨迹即超过完全训练的 SOTA 基线,VBench Total 从 84.04 升至 84.22,轨迹收集成本从数千 GPU 小时降至约 1 个 A100 GPU 小时,动态程度、VisionReward 与指令跟随显著更优,人类评测一致偏好。
「多模态」频道最新
- 「Spooky season」:一组电影质感 AI 万圣节插画刷屏 — egeberkina · 2026-10-15
- 用 Gemini 4 把经典名画生成复古像素动画,效果惊艳 — fofrAI · 2026-10-15
- StreamErase 实现单 GPU 26 FPS 实时视频物体擦除,延迟降至 0.87 秒 — Zhuobai Dong · 2026-10-15
- 昆仑万维开源 Matrix-Game 4.0:单张 5090 实时可玩 AI 世界模型 — mishig25 · 2026-10-15
- 阿里 TaoLive 团队开源 3 步 LoRA,实现实时流式音视频生成 — linoy_tsaban · 2026-10-15
- 整段视频全由 Opus 5.5 Max reasoning 生成,未用任何 skills — Hesamation · 2026-10-15