NVIDIA 等发布 PixelUMM:去 VAE 与视觉编码器的像素空间统一多模态模型
CSProfKGD · x · 2026-10-02
NVIDIA 与滑铁卢大学团队发布 PixelUMM,一个无编码器(encoder-free)的统一图像/视频理解与生成模型,代码和权重已开源。
- 核心思路:抛弃 VAE 和 ViT 视觉编码器,用单个 decoder-only Transformer 直接读写原始像素——图像切成 16×16 patch,视频用 4 帧 tube 表示。
- 架构:骨干为 Qwen3-8B,理解与生成各设独立 expert,共享一个覆盖文本、干净像素和加噪像素的 self-attention。
- 实证发现:论文按 F1–F8 八组实验展开消融。其中 F3 揭示线性像素头在高 CFG(约 6)下会在天空等低纹理区域产生网格状 patch 伪影;当前发布的 checkpoint 和在线 demo 仍默认使用线性头,换成卷积头需进一步训练。
- 项目页、论文与模型均公开,是该方向(encoder-free 统一多模态)的代表性工作。
所属事件:NVIDIA 发布免编码器统一多模态模型 PixelUMM(3 条相关)→
「多模态」频道最新
- Qwen 图像 2.1 与 Minimax H3 实测:老照片修复与写实化转换 — Ant_6431 · 2026-11-16
- Minimax H3 视频生成演示:Cubee 店面镜头第二版 — JahJedi · 2026-11-16
- 不会画画的开发者用 Fable 5.2 四小时做出 14 章手绘风故事书游戏 — jradoff · 2026-11-16
- Minimax H3 Image 训练人物 LoRA 相似度差,同数据集在 Qwen 2.1 上表现优异 — Ad_Organic · 2026-11-16
- Seedance 生成地铁车厢动画片段,光影细节惊到 Reddit 网友 — Ok-Solution-7889 · 2026-11-16
- 推主用 AI 重制 1977 版《黑衣人》风格画面 — techhalla · 2026-11-16