NVIDIA 与滑铁卢大学发布 PixelUMM:免编码器的像素级统一多模态模型
jiqizhixin · x · 2026-11-18
NVIDIA 与滑铁卢大学在 arXiv 预印本中提出 PixelUMM,一个免编码器的统一多模态模型,图像与视频共用原始像素接口完成理解与生成:
- 架构:图像转为空间 patch、视频转为时空 tubelet,经单层线性投影直接接入 Transformer,不依赖预训练视觉编码器或 VAE tokenizer;
- 专家分离:理解与生成使用各自的 FFN 专家但共享多模态自注意力;文本用自回归预测,图像/视频生成用像素空间 flow matching 加干净像素预测;
- 成绩:GenEval 0.77,配合长 prompt 重写提升至 0.83,VBench 总分 83.24。
论文配图展示了完整的理解/生成双分支结构,是「去 tokenizer 化」统一建模路线的又一实证。
「多模态」频道最新
- OpenAI 员工长文:用 Codex 把 GPT-6.2 Astra 变成视频剪辑师 — nickbaumann_ · 2026-11-18
- NVIDIA推出Nemotron 3.5 Transcribe,不止于转写 — NVIDIAAI · 2026-11-18
- HeyGen Avatar 6 上架 fal:三种方式让角色开口说话 — HeyGen · 2026-11-18
- 网友实测称 GPT-6.2 Astra 的 3D 能力惊人 — Angaisb_ · 2026-11-18
- OpenAI 上线 Cathedral Walk:浏览器里漫步代码绘制的哥特大教堂 — Dimillian · 2026-11-18
- 快手可灵宣传图生视频:让静态图片动起来 — gizakdag · 2026-11-18