NVIDIA 开源 PixelUMM:无编码器直接在像素空间统一理解与生成
NVIDIA 研究团队开源 PixelUMM,这是一个 150 亿参数的无编码器统一多模态模型,可直接在原始像素空间同时处理图像与视频的理解和生成任务。架构上完全去除了 VAE 和预训练视觉编码器(ViT),生成过程不再依赖 VAE 做压缩,理解任务也不需要单独的视觉编码器,实现了理解与生成在统一架构下的融合。
2026-10-05 ~ 2026-10-06 · 2 条相关
- 第 1 集:NVIDIA 发布免编码器统一多模态模型 PixelUMM(2026-10-02,3 条)
- 第 2 集:NVIDIA 开源 PixelUMM:无编码器直接在像素空间统一理解与生成(2026-10-05,2 条)
- NVIDIA 开源 PixelUMM:去 VAE/ViT,直接在像素空间统一理解与生成 — udmrzn · 2026-10-05
- NVIDIA 开源 PixelUMM:15B 模型直接从原始像素做图像视频理解与生成 — lmoroney · 2026-10-06