MPEG-Diffusion: Mixed-Resolution Video Generation
Dennis Menn, Tianpei Gu, Guande He, Aryan V S, Yanke Song, Nan Liu, Desai Xie, Xun Huang, Chenfeng Xu, Diana Marculescu
cs.CV
2026-11-09
MPEG-Diffusion 只把主体放在高分辨率里生成,其余区域用低分辨率。Wan2.1 14B 处理三成全分辨率 token,去噪快 4.8 倍,盲测接近全分辨率,对旧方法胜率超过九成。
视频 DiT 把算力均匀花出去。DiT 是用 Transformer 做去噪的生成模型,注意力随 token 数平方增长,脸和蓝天的成本一样。
混合分辨率照搬视频编码:重要区域走高分辨率(HR),其余走低分辨率(LR),一个 LR token 顶掉多块 HR token。视频上现有方法掉点很厉害,边界发糊、留接缝,还得事先指定 HR 区域。生成早期画面太糊,检测器指定不了。
MPEG-Diffusion 来自 UT Austin 与 Roblox,接在 Wan2.1 上,分四段。前 k 步整段只在 LR 上去噪。第 k 步用线性头读 DiT 特征,选出区域 M。之后 M 升到 HR,其余保持 LR,分头去噪。最后在 latent 里拼成一张图再解码。latent 是压缩后的特征图。默认 1 个 LR token 覆盖 2×2 共 4 个 HR token。训练时每帧取感知标签最高的 25% token 当 HR。
共享一套 key/value 是第一处失败。key/value(K/V)是注意力里被查询的内容。softmax 按 token 个数归一化,一个 LR token 补不回它替换的 n 个 HR token 对别的区域的影响。命题 1 证明,就算给 LR 加 logit 偏置,等式也只在这 n 个 token 完全相同时成立。微调共享权重填不上这个洞。
双分辨率注意力让每层保留完整的 HR K/V 和 LR K/V,query 只读自己那一套。缺的位置用线性映射补:一个 LR token 可以映成 n 个 HR token,也可以反向压回去。映射放在 RoPE 之前。RoPE 是旋转位置编码,只写位置。未微调的 1.3B 上,HR 到 LR 的 key、value 平均余弦相似度已有 0.96 和 0.85,反向是 0.94 和 0.75。大模型用低秩修正代替完整矩阵:先平均或复制,再加低秩项。
第二处失败在解码。VAE 解码器吃均匀网格,每个小块还依赖邻居。真实视频的 latent 分开解码再贴上,边界照样有缝;空位填噪声,缝散得更开。混合分辨率解码器先把 HR 缩小填进 LR 的洞,可学习上采样拉回 HR 网格,小 3D 卷积只在 LR 区域预测残差。HR 区域原样保留。
区域不用外接框。第 k 步 DiT 中间层已能标出主体,并跨帧跟着走。线性头对 LR token 打分,用该视频的中位数和 99 分位做阈值;分数太平则整段留在 LR。感知标签看这一步 LR 预测与真值 HR 的逐块 LPIPS(感知距离),背景纹理会干扰它。物体标签由 Qwen2.5 抽出主体、Grounded SAM 跟踪。推理只用训好的线性头。
DiT、映射和分辨率嵌入一起训。嵌入是加在 token 上的向量,两种分辨率各一个,从零开始。损失只盯各自负责的区域。DiT 用 64 张 B200 训 1,250 步;上采样和 mixer 另训 4,000 步;区域头约 2,500 条片段,这一阶段 DiT 冻结。
实验用 Wan2.1 1.3B(480p)和 14B(720p,704×1280),81 帧、50 步。对照是 ToMe、IDM,以及 Phase-Aligned RoPE、Foveated Diffusion。文本生成没有视线,后两者用沿预定轨迹移动的圆当 HR 区域,token 量对齐。MovieGen 1,003 条提示报告 MANIQA、Imaging、DOVER,VBench 944 条报告 VBench Quality。速度是单张 B200 相对全分辨率的去噪时间。
k = 40(约 30% token)时,两个模型的质量分都是 MPEG-Diffusion 最高或并列。
| 设置 | 方法 | 加速 | MANIQA | DOVER |
| 1.3B, 30% | 全分辨率 | 1.0× | 0.371 | 0.778 |
| 1.3B, 30% | Foveated Diffusion | 3.2× | 0.261 | 0.658 |
| 1.3B, 30% | MPEG-Diffusion | 3.8× | 0.345 | 0.762 |
| 14B, 30% | 全分辨率 | 1.0× | 0.445 | 0.819 |
| 14B, 30% | Phase-Aligned RoPE | 5.2× | 0.293 | 0.757 |
| 14B, 30% | MPEG-Diffusion | 4.8× | 0.397 | 0.794 |
ToMe 和 IDM 在这一档崩了:DOVER 在 1.3B 上是 0.119 和 0.110,在 14B 上同为 0.069。Foveated Diffusion 在 14B、30% token 下也是 5.2×,MANIQA 0.300,DOVER 0.743。Imaging 方面,1.3B 为 0.631,全分辨率 0.644;14B 为 0.644,全分辨率 0.671。DOVER 只差 0.016 和 0.025。VBench Quality 分不开模糊:14B 全分辨率 85.3,纯 LR 84.4,MPEG 与 Foveated 都是 83.9。
k = 25 时 1.3B 约 38% token,三种方法都是 2.8×。MPEG 的 MANIQA 0.355、DOVER 0.769,Foveated 是 0.285 和 0.701。14B 约 37% token,MPEG 加速 3.3×,慢于旧方法的 4.2×:HR token 要看完整 HR K/V,序列没有缩短。MANIQA 仍是 0.402 对 0.316 和 0.323,DOVER 0.803 对 0.769 和 0.761。token 降到 30% 后,4.8× 超过旧方法在 37% 下的 4.2×。
960p 对 240p(1 个 LR token 对应 16 个 HR token)时,k = 25 的加速升到 4.8×,720p 同设置只有 3.3×。DOVER 0.789,全分辨率 0.806,Foveated 0.766 且加速 4.7×。MANIQA 0.367,离全分辨率的 0.472 比 720p 更远。
14B 盲测,15 人、400 对未筛选视频,平局各算一半。37% token 下对 Phase-Aligned RoPE、Foveated、纯 LR 的偏好率是 98.8%、90.1%、69.1%。对全分辨率,平局占 44%,拆开后 54.8% 对 45.2%,MPEG 快 3.3×。
FLUX.2 [klein] 4B 的 1024 图像、1,000 条提示、33% token 上,Q-Align 4.60,Foveated 4.49,纯 LR 4.42,Phase-Aligned RoPE 4.34。patch FID(相对全分辨率图,越低越好)12.97,三者依次为 16.40、15.61、14.59。GPT-5.6 偏好 MPEG 的比例对这三者分别是 61.4%、78.0%、83.8%。去噪步加速 1.40×,Foveated 1.14×,Phase-Aligned RoPE 1.11×。图像只有 4,096 个 token,旧方法每一步都在混合分辨率上跑,还把每层注意力拆成两次调用。
1.3B 剖面上,映射 209 毫秒、mixer 51 毫秒、区域头 3.4 毫秒,合计只多 3.0%,DiT 占 8.54 秒。共享 K/V 会掰弯跨过边界的指针。双分辨率注意力把边界 warping error 从 2.61×10⁻³ 降到 1.96×10⁻³,时间 LPIPS 从 4.59×10⁻² 降到 4.14×10⁻²,边界尖峰从约 +70% 降到约 +25%。100 段真实视频上,解码器把边界 LPIPS 从贴图的 0.19 降到 0.12。
省下来的是空间冗余。token 合并、稀疏注意力、跨步缓存和少步蒸馏,输出仍是全图同一分辨率,和混合分辨率各管一块。
视频模型可以保住主体、把背景做便宜,推理不必先给框。代价是微调。1.3B 上映射、mixer 和区域头合计约 3% 时间,加速来自少算 token。同样 k = 25,720p 为 3.3×,960p 为 4.8×。
图像上 33% token 只到 1.40×。机制能用于文生图,划算程度低于视频。
区域头和 DiT 分开训。物体标签靠 Qwen2.5 和 Grounded SAM,端到端微调被留作后续。没有明确主体时整段退回纯 LR,风景、人群、满屏文字能剩多少算力,没有单独数字。
14B 在 k = 40 时 MPEG 为 4.8×,Phase-Aligned RoPE 与 Foveated 为 5.2×。只比耗时、又能接受接缝,旧方法在这个点更快。盲测里旧方法的 HR 区域是预设移动圆,偏好率里因此混有选区差异。注意力和解码器有单独消融,同一自选区域下没有再跟旧方法比较。
人对全分辨率仍略偏好,54.8% 对 45.2%,平局 44%。从 LR 映回 HR 的 value,余弦相似度只有 0.75,线性映射是近似。区域在第 k 步定死,之后不更新。主体要是更晚才进画面,mask 会偏,这类失败占多少没有给出。14B 的 VBench Quality 上,纯 LR(84.4)高于 MPEG(83.9),这个指标不能当画质结论。