NVIDIA 开源 PixelUMM：15B 模型直接从原始像素做图像视频理解与生成
lmoroney · x · 2026-10-06
NVIDIA 研究人员发布 PixelUMM，一个 150 亿参数的统一模型，直接从原始像素同时处理图像与视频的理解和生成，不再需要 VAE 做生成压缩，也不依赖预训练视觉编码器做理解。
技术要点：
- 图像被切成 16x16 像素 patch，输入基于 Qwen3-8B 的 decoder-only Transformer
- 生成侧采用迭代去噪方式，绕开传统 latent diffusion 的 VAE 架构
- 代码以 Apache 2.0 开源，但 checkpoint 权重仅限非商业研究与评估使用
作者建议将其与标准 latent-diffusion 设计对照阅读，思考 VAE 和独立视觉编码器各自到底买了什么；并在自己的 GPU 上实测小字文本渲染与显存占用后再下结论。
所属事件:NVIDIA 开源 PixelUMM：无编码器直接在像素空间统一理解与生成(2 条相关)→
「多模态」频道最新
- AI 生成纹身银发老人肖像，皱纹与光影真实感惊人 — egeberkina · 2026-10-25
- 编辑级时装插画 Prompt 分享:水墨线条+大色块高级成衣画 — azed_ai · 2026-10-25
- 开源 5B 图像模型 MOSS-Image 四天下载 130 万次 — neurocartel · 2026-10-25
- 加钱买中土游轮效果翻车？作者晒 Magnific 修复 prompt — techhalla · 2026-10-25
- MiniMax H3 写实人像流出，逼真泪光细节引发追问 — seppe0815 · 2026-10-25
- 被赞「史上最丝滑」的汽车转场视频火了 — No-Lock216 · 2026-10-25