FastFrames: Video Generation at Interactive Latency
Gene Chou, Guandao Yang, Fujun Luan, Lars Mescheder, Wei Dong, Stephan Richter, Vladlen Koltun
cs.CV
2026-11-18
FastFrames把占延迟大头的VAE解码和KV缓存刷新换成轻量模块,端到端响应压进交互区间,1.3B版本在单张B200上36毫秒出一帧,VBench与慢7.6倍的基线持平。
自回归视频扩散按新的控制逐段出画面,相机、物理、游戏和机器人预测都靠这个接口。交互卡在延迟。人机研究里,大约 50 到 60 毫秒的滞后就能被察觉,所以目标定在 50 毫秒:新输入到达,到第一帧能看出该输入效果的 RGB,cache 更新和像素解码都算在里面。一批生成 30 帧、花 1 秒,可以报 30 FPS,人还是要等满那一秒。响应率 RPS 等于 1 除以这次等待,50 毫秒就是 20 RPS。
当时最快的少步模型 Causal Forcing++(CF++,Wan 2.1 的 1.3B)在单张 B200 上要 272 毫秒,约 3.68 RPS,离 20 RPS 差约 5.4 倍。拆开这条路径,两步去噪只占大约 30% 墙钟。VAE 解码负责把 latent 变回像素,这一项就要 147 毫秒,约等于 3.5 次 DiT(去噪主干)前向,单项就超过 50 毫秒预算三倍。刷新 KV cache(历史帧的键值)还要再跑一次完整 DiT,41.6 毫秒,算完的预测直接扔掉。
FastFrames 来自 Apple,骨干仍是 Wan 2.1,两步采样,每个自回归步只生成一个 latent 帧。步数不往下砍。砍到一步,画质掉得厉害,延迟只少约 15%。省下来的是解码、cache 刷新,以及每次 DiT 周围的系统开销。
像素头替换 VAE 解码。Wan 解码器 73.3M 参数,仍要 147 毫秒,因为它在每一级分辨率做稠密 3D 卷积。四帧 480×832 大约要在 160 万个时空位置上卷积。一层线性投影(4.7M 参数,0.06 毫秒)认得出场景,发丝和雨点糊掉。定稿是三块因果 3D ConvNeXt,只在 DiT 的 21×30×52 低分辨率网格上计算,末尾线性层把每个 token 拆成 4×16×16 的 RGB patch。63.9M 参数,大约 1 毫秒,快约 147 倍,细结构能保住。DiT 冻结,用 L1、MSE、空间梯度、帧差和运动加权去贴齐 VAE 像素。81 帧、832×480、BF16 加激活检查点时,更新解码器峰值显存约 68 GB,这个头约 5 GB,才够在像素空间加对抗损失。判别器是冻结的 DINOv3 ViT-S/16,第 4、8、12 层各放空间头和时间头,真实视频是内部 1 万条。低学习率微调 DiT 会不稳,主干保持冻结。这个头也不能在 1.3B 和 14B 之间共用。
两步采样里,基线多跑一次 DiT,只为把干净 latent 的 K、V 写进 cache。这占全部 DiT 次数的三分之一,预测本身丢掉。直接删掉,或让模型忍受带噪 cache,瑕疵都明显。替代是一个小网络:冻结的 patch embedding,四个从头训练的 transformer block,每层预测 K、V 残差。监督来自原来那次 DiT 写下的 cache,另加注意力输出对齐。1.3B 约 2 毫秒,14B 约 6 毫秒,大约快 20 倍和 12 倍。
系统层把 1.3B 的单次 DiT 从 41.6 毫秒降到 16.4 毫秒(单卡 B200,满 cache 32760 token)。持久 KV 缓冲、预计算 RoPE 与条件、融合 QKV,再加上 CUDA graph。单帧的查询太短,GPU 吃不饱,于是 KV 切成五段、每段 6552,并行做注意力后再 softmax 合并,大约再降 13%。八卡试下来,只有 context parallelism 划算:query 分到各卡,每层交换一次 K、V。1.3B 的 DiT 降到 5.8 毫秒,14B 的 DiT 从 75.6 毫秒降到 20.3 毫秒。
FastFrames-S(1.3B)从两步 CF++ 初始化,DiT 冻结,只训像素头和 KV 网络。FastFrames-L(14B)从双向 Wan 2.1 改成自回归,按 CF++ 的配方做分布匹配蒸馏(DMD),再接上同一套头。
同一批 VBench 提示和种子,分辨率约 480p,FastFrames 用 832×480。自回归延迟取 cache 填满后的稳态。一次响应是一个自回归步。一个 latent 帧会解开成四帧 RGB,36 毫秒是下一次输入生效要等的时间。
| 方法 | 设置 | 延迟 | VBench 总分 |
| CF++ | 1.3B,1 卡 | 272 ms | 84.11 |
| FastFrames-S | 1.3B,1 卡 | 36 ms | 84.23 |
| FastFrames-S | 1.3B,8 卡 | 14 ms | 84.23 |
| Krea-Realtime | 14B,1 卡 | 1675 ms | 84.42 |
| FastFrames-L | 14B,1 卡 | 158 ms | 84.44 |
| FastFrames-L | 14B,8 卡 | 45 ms | 84.44 |
S 比 CF++ 快 7.6 倍,总分高 0.12。质量分 85.30 对 85.09,语义分 79.92 对 80.20。L 在八卡上 45 毫秒,约 22 RPS。对同规模的 Krea-Realtime,单卡约快 10.6 倍,总分 84.44 对 84.42,质量分 85.48 对 85.08,语义分 80.29 对 81.81。表里其余方法都慢于 50 毫秒。双向 Wan2.2 总分 84.65,要 117734 毫秒。
同一套替换迁到现成条件模型上。相机控制的 LingBot 1.3B,官方最快是两卡 Ulysses 的 842 毫秒,八卡优化后 52 毫秒,约 16 倍。物理条件的 RealWonder 1.3B 从单卡 1141 毫秒降到 153 毫秒,八卡再降到 51 毫秒,约 22 倍。LingBot 14B 从八卡 1373 毫秒降到 233 毫秒,约 5.9 倍,离 50 毫秒还远。条件模型更慢:LingBot 四步采样,RealWonder 三步,而且每步要预测多个 latent 帧。
少步蒸馏做完以后,等待的大头是 VAE 解码,加上一次只为刷新 cache 的整网前向。这两段在很多自回归视频扩散里是共用的,新骨干或更好的蒸馏可以叠在上面。
1.3B 单卡 36 毫秒,约 28 RPS,已经低于人开始察觉滞后的 50 毫秒。同表基线没有一个做到。14B 要八张 B200 才到 45 毫秒。快了将近 8 倍,画质停在持平附近。
评测只覆盖 480p 和 B200。作者点名的缺口是:动作条件还不能再加延迟、更高分辨率、更轻的硬件,以及长时间一致性和物理是否说得通。
子分对不上「画质不降」。S 和 CF++ 用同一套 DiT 权重,语义分低了 0.28。摘要说 14B 的视觉质量和真实感明显更好;对上 Krea-Realtime,总分只高 0.02,质量分高 0.40,语义分低 1.52,正文的定性对比写的是相当。对抗训练用内部 1 万条视频,每个模型还要单独训像素头。14B 单卡要 158 毫秒,LingBot 14B 八卡要 233 毫秒。模型和条件一大,50 毫秒线就守不住。