JUICE：单一 flow-matching 模型统一图像与文本生成，GenEval 达 0.88
pratyusha_PS · x · 2026-10-23
多数统一模型用自回归 LLM 写文本、外接扩散头画图。NYU 等团队提出的 JUICE（Joint Unified multimodal modeling In Continuous Encoder spaces）用单一 flow-matching Transformer（MM-RiT），在冻结的预训练编码器（SigLIP2 或 DINO 图像编码器 + Flan-T5 文本编码器）连续空间中从零训练，不依赖 LLM 初始化，一套权重同时完成图像生成、视觉理解与联合生成。
关键结果：
- 2.1B 模型：SigLIP2 变体 GenEval 0.87、DPG-Bench 85.27、WISE 0.45、VQAv2 73.1；DINO 变体 GenEval 0.88，追平 1–3B 级最强基线 TUNA
- 并行文本解码比自回归快 3.9–6.4×（VQA），captioning 上快 54–163×
- 每个模态有独立噪声水平与调度，文生图、描述、VQA、联合生成都是同一噪声方块中的不同路径
论文、代码、权重均已开放。
「多模态」频道最新
- 用户用视频模型 Seedance 2.5 在 Runway 上设计旧金山公寓 — c_valenzuelab · 2026-10-23
- MOSS Image 推出 Turbo 版：50 步生成提速至 4 步 — _akhaliq · 2026-10-23
- 分享一组 Midjourney 牛角女性人像 prompt，附全套参数 — OVolosin82152 · 2026-10-23
- 受够平台审查扣费,开发者用 ComfyUI 自建一键短视频工作流 — Key_Cap_8111 · 2026-10-23
- 用预览分镜+语音指挥 Claude 做参考，Seedance 2.5 复刻贴手机进地铁梗 — TinfoilTricorn · 2026-10-23
- Canva 发布首款自研图像生成模型 Craft — The Decoder · 2026-10-23