NVIDIA 发 PixelUMM:免编码器统一图像视频理解与生成
nvidia · hf · 2026-10-02
NVIDIA 发布 PixelUMM,一个免编码器(encoder-free)的统一多模态模型,直接在像素空间同时完成图像与视频的理解和生成。
- 动机:现有统一多模态模型(UMMs)通常为理解与生成使用分离的视觉表示,拉长视觉上下文并难以接入主流视觉-语言预训练管线;像素空间建模虽提供免编码器路线,但从图像扩展到视频并不直接——两者的时间表示不同
- 方法:图像表示为空间 patch,视频表示为时空 tubelet,通过单层线性投影接入共享多模态骨干;采用 Mixture-of-Transformers 架构(共享注意力 + 任务专用参数),将 clean-pixel 预测扩展到视频生成,联合支持自回归文本预测与像素空间 flow matching
- 结果:在图像与视频的理解和生成任务上均取得有竞争力的表现,并对解码器设计、时空 patch 尺寸等关键选择做了消融研究
所属事件:NVIDIA 发布免编码器统一多模态模型 PixelUMM(3 条相关)→
「多模态」频道最新
- 不会画画的开发者用 Fable 5.2 四小时做出 14 章手绘风故事书游戏 — jradoff · 2026-11-16
- Seedance 生成地铁车厢动画片段,光影细节惊到 Reddit 网友 — Ok-Solution-7889 · 2026-11-16
- 推主用 AI 重制 1977 版《黑衣人》风格画面 — techhalla · 2026-11-16
- 3.5 亿人说的 Hinglish:Sarvam 模型打通印地英语语音 agent — itsOmSarraf_ · 2026-11-16
- 博主实测 Dreamina Marketing Studio:用 Seedream 5.0 Pro 一键生成产品广告 — socialwithaayan · 2026-11-16
- GitHub 热门设计 skill 作者揭秘:靠评审循环而非 prompt 做出好设计 — PrajwalTomar_ · 2026-11-16