NVIDIA 开源 PixelUMM：去 VAE/ViT，直接在像素空间统一理解与生成
udmrzn · x · 2026-10-05
NVIDIA 研究团队（作者 Cong Wei 等）开源 PixelUMM，一个无编码器的统一多模态模型，直接在原始像素空间处理图像与视频的理解和生成，架构上完全去掉了 VAE 和 ViT。
技术要点：
- 基于 Qwen3-8B 构建 Mixture-of-Transformers：理解与生成专家共享对文本、干净像素和噪声像素的自注意力
- 图像切为 16×16 patch，视频用 4 帧管状结构，均经单层线性层输入
- 在图像/视频理解与生成上与开源基线性能相当
论文、代码与权重全部开放（GitHub + Hugging Face），作者在 HF 论文页答疑。
所属事件:NVIDIA 开源 PixelUMM：无编码器直接在像素空间统一理解与生成(2 条相关)→
「研究」频道最新
- EMNLP26 论文:VLM 同一答案下隐藏表征不稳定 — PMinervini · 2026-10-25
- AI 修正 96% 脊髓标注失败扫描，nnU-Net 救回患者数据 — bravo_abad · 2026-10-25
- MemOS 预告 memt1.0：记忆原生 MoE 架构，编码基准提升约 5% — CuriousSiopao · 2026-10-25
- 研究：新兴声音通讯的组合性可分为线性、同时与图像式 — abenitezburraco · 2026-10-25
- Anthropic 联创 Jack Clark 将自我改进 AI 预测提前至 2027 年 — The Decoder · 2026-10-25
- OpenDS-World 基准：GPT-6 Astra 实时网页深度搜索 39%，人类均值 21.1% — emmanuelvivier · 2026-10-25