不用 ViT 与 VAE,NVIDIA 8B 纯像素模型统一图像视频理解与生成

PixelUMM: Encoder-Free Unified Image and Video Understanding and Generation

Cong Wei, Xuanchi Ren, Bryan Chu, Weiming Ren, Huan Ling, Jiahui Huang, Laura Leal-Taixé, Sanja Fidler, Wenhu Chen, Zian Wang, Jay Zhangjie Wu

cs.CV

2026-09-30

PixelUMM 去掉 ViT 与 VAE,单层线性投影把原始像素接进 8B MoT 骨干,统一图像与视频的理解和生成,四类任务成绩与带编码器的统一基线相当。

这篇在解决什么

统一多模态模型(UMM,一个模型同时做视觉理解和生成)的主流做法是配两套视觉前端:BAGEL 用 ViT(视觉 Transformer 编码器)出语义特征做理解,用 VAE(把图像压成低维 latent 的自编码器)出重建特征做生成。双流的代价很实际:每张条件图像要同时占 ViT 和 VAE 两条 token 流,视觉上下文近似翻倍,attention 和显存跟着涨,多图多轮对话里最疼;而且现有 VLM 预训练管线只喂单一视觉流,往里加 VAE token 意味着数据管线和训练配方都要大改。

像素空间建模给过出路:JiT、PixelDiT 证明文生图可以直接在原始像素上做,TUNA-2 和 SenseNova-U1 把这条路扩到图像理解加生成的统一模型。视频一直没打通:视频理解习惯把采样帧独立送进图像编码器,视频生成依赖把首帧单独编码的因果 3D VAE,两套惯例凑不出共享接口。PixelUMM(NVIDIA 与滑铁卢大学,8B)来补这个缺口。

方法

架构只有一条铁律:像素和骨干之间除了线性层什么都不放。

图像切 16×16 patch,视频按时间×高×宽切 4×16×16 tubelet,每个展平后过一层线性投影进骨干。干净像素走理解投影,加噪的生成目标走另一套生成投影;输出侧是 RMSNorm 加线性头还原像素。全模型没有视觉编码器、没有 VAE、没有离散 tokenizer。
骨干从 Qwen3 decoder-only 模型初始化,MoT(Mixture-of-Transformers)架构,token 级硬路由:文本与干净视觉 token 进理解专家,噪声视觉 token 进生成专家;每个 block 的归一化、QKV、FFN 分专家,所有 token 共享同一个多模态自注意力。
不喂时间步。与 BAGEL、SenseNova-U1 不同,去噪网络没有 timestep embedding 也没有条件化 AdaLN,噪声程度让网络自己从输入判断,时间步只用来构造训练目标和引导采样。
视频理解分两档:源帧率 ≥4 FPS 用 densemode 组 tubelet,低于 4 FPS 用 sparsemode 以 1 FPS 逐帧独立编码,避免为凑 tubelet 复制帧。
损失是文本交叉熵加 JiT 式像素 flow matching:线性插值加噪,头预测干净像素,速度空间算损失,t 钳在 0.05 以上。
训练分六阶段递进,从 256² 图像联合训练,到原生分辨率图像理解、448² 视频理解,最后 Joint Stage 2 四任务合训,生成 512²、视频 4 秒 96 帧。理解数据来自 FineVision、VideoChat-Flash、LLaVA-Video-178K,生成用公开真实加合成数据。

注意力沿用 BAGEL 的块状方案:文本块内因果,视觉块内双向,视频后帧可见前帧;生成目标双向自注意并看得到前缀 prompt。位置编码用三轴 Native RoPE,一半注意力头管时间轴,高宽各占四分之一。

结果

八组受控实验(F1–F8)是全文信息密度最高的部分:

实验	结论
F1 图像 patch	同序列预算下 32×32 每步看 4 倍图像,训练 MSE 反而高于 16×16
F2 视频 tubelet	时空压缩越弱损失越低,p32/t1 最低;正式模型仍选 p16/t4,对齐 Wan2.2 VAE 惯例
F3 解码头	线性头在 CFG≈6 出网格伪影;PixelShuffle 性价比最好(5.6× FLOPs),Wan 式最干净但损失高、更糊(17.1×)
F4 像素 vs VAE	10K 步时 VAE 损失约 4.3 倍,但空间不同不可比;梯度范数接近,像素侧偶有尖峰
F5 规模	8B 达到 1.7B 同等损失只需约 1/3 步数
F6 算力	8 卡到 128 卡,CE 步数提速约 9 倍,MSE 只有 1.3 倍
F7 视觉条件	图生视频与编辑走理解专家后,四个视频 benchmark 全涨(+0.893.49),图像涨跌互现(BLINK +2.37,SEED-I −5.41)
F8 理解接口	4 FPS tubelet 对 1 FPS 独立帧无一致优势

基准成绩(论文声明各家训练数据不同,这些数字不能裁决架构优劣):

任务	指标	PixelUMM	对照
图像理解	MMMU	41.67	Qwen2.5-VL-7B 51.30,BAGEL 55.30
图像理解	PixMo-Count	73.03	Qwen2.5-VL-7B 63.30
视频理解	MVBench	70.53	Show-o2 49.80,TUNA 54.40,Lance 62.00
文生图	GenEval	0.71(带改写,原始 0.55)	BAGEL 0.77(带改写)
文生视频	VBench 质量分	84.10	TUNA 84.32,Lance 85.14
文生视频	VBench 总分	68.11	TUNA 84.06,Lance 85.11

视频理解赢得最多,图像理解离专用 VLM 还有距离,生成处于能用不领先的档位。

为什么重要

对做统一模型的团队,价值有两层。接口层面:去掉 ViT 和 VAE 后,条件图像只占一条视觉流,长上下文与多轮对话的视觉 token 直接省一半,模型与现有 VLM 预训练管线兼容,不必为 VAE token 重造数据管线;编辑和参考图任务靠「干净条件走理解专家」的路由保住,不必为保真度单独留一个 VAE。工程层面:F1 到 F8 给的都是可直接拿去的结论,patch 别压太狠、解码头选 PixelShuffle、堆 GPU 对生成损失几乎无益(1.3 倍)对文本损失很有用(9 倍)、视频理解上高帧率 tubelet 暂不划算。这些结论来自训练曲线和边界探针,不是拍脑袋。

也要直说:基准成绩是与基线相当,不是 SOTA。这篇证明的是像素空间这条路在视频上走得通,附一套可复用的设计依据。

局限与存疑

作者自认:理解与生成仍是两套专家参数,不是完全统一;p=64 patch 和 τ=8 tubelet 未验证;基线训练数据不同,不能下架构结论。另有几点读下来站不住或没验证:发布 checkpoint 仍用线性解码头,F3 的卷积头改善没进正式模型,高 CFG 网格伪影在释出版本里还在;生成规格停在 512²、4 秒 96 帧;VBench 总分 68.11 与统一基线(8185)的差距来自表格未展示的维度,论文没有解释;F8 说明 tubelet 接口在理解侧暂无收益,这个设计的回报目前只在简化管线一边。

术语

UMM(unified multimodal model):一个模型同时做视觉理解与视觉生成。
tubelet:视频版 patch,一次聚合 τ×p×p 的时空像素块。
MoT(Mixture-of-Transformers):多套专家参数共享同一注意力,按 token 路由。
flow matching:学噪声到数据速度场的生成目标,JiT 把它搬进像素空间。
CFG(classifier-free guidance):采样时放大条件与无条件输出之差的技巧,数值过高会放大伪影。
VBench:文生视频常用评测,含质量分、语义分等多个维度。

不用 ViT 与 VAE,NVIDIA 8B 纯像素模型统一图像视频理解与生成

这篇在解决什么

方法

结果

为什么重要

局限与存疑

术语

原文与代码

社区讨论

相关论文