OmniTaskonomy: When Does Visual Generation Improve Visual Understanding?
Jiaxin Ge, Yiming Qin, Ji Xie, Haozhe Jiang, Xiaochuang Han, Junyi Zhang, Andrew Dai, Yinfei Yang, Jitendra Malik, Ranjay Krishna, Sewon Min, Haiwen Feng, Le Xue, Baifeng Shi, Trevor Darrell, XuDong Wang
cs.CV
2026-09-30
在BAGEL上用配对I2I与I2T任务显示,先训生成再微调才会随数据涨点,混合训练不放大;图像补全给2D排序+7.2,欧氏深度给度量3D+3.8。
统一多模态模型把图像生成和视觉理解塞进同一套参数。已有工作反复证明理解信号能改善生成,反向路径却一直说不清。若干论文给出更冷的结论:生成对理解的帮助明显更少。
这在直觉上别扭。像素级生成监督覆盖外观、空间关系和几何,而这些恰好是识别、计数、空间推理、三维感知所要的东西。问题可能出在配方,生成这个目标本身未必没用。研究拆成三问:什么课表能让生成帮到理解,哪种生成任务帮哪种能力,梯度对齐能不能当筛选信号。实验在 BAGEL 上做。
BAGEL-7B-MoT 的生成与理解走两套 Transformer 专家,靠共享注意力交互。文本和 ViT token 进理解专家,VAE latent 进生成专家。I2I 用 flow matching 学从噪声走到目标图的速度场,损失可以经注意力回传到理解分支。
对照实验从 VisGym 拿 Jigsaw 和 Zoom-In。同一张输入、同一道视觉题,I2I 输出正确图像,I2T 用文本输出排列。六种课表里胜出的是 I2I → I2T:先只训生成并更新共享参数,再微调理解。冻住共享参数再训生成,或一上来把两个目标混在一个 batch 里,涨点都不稳。
OmniTaskonomy 把两边放进同一棵能力树,顶层是 Malik 的 3R:Recognition、Reconstruction、Reorganization。理解能力从 BLINK、MMStar、MMT-Bench、CV-Bench、RealWorldQA、MMVP、VStarBench 自底向上收出 25 项;I2I 任务 19 个,数据主要来自 Taskonomy tiny、VisGym、COCO 和 ConceptEdit-12M,每任务 5 万条。10422 条评测里三名 VLM 裁判多数表决留下 9444 条;四人抽查 250 条,确定判断里 97.4% 与 VLM 标签一致。
迁移统一走约 5 万 I2I 再接 5 万 LLaVA-Instruct,对照只训 I2T,三种子平均,p<0.05 才标显著。梯度对齐在预训练检查点上,对同一参数块的 I2I 与 I2T 归一化梯度做 PCA 后算缩放余弦;对照任务里最强的位置是理解分支浅层的 pre-attention RMSNorm。
I2I 从 3k 加到 100k,I2I → I2T 的理解准确率持续往上走;从一开始混合,没有同样的放大。I2T 预算越小,生成预训练越能顶上理解数据。
| 设置 | 对照 | 结果 |
| Zoom-In: 10万 I2I + 1千 I2T | 1万纯 I2T | 准确率相当 |
| Jigsaw: 10万 I2I + 3千 I2T | 1万纯 I2T | 准确率相当 |
30k I2I + 1k I2T 的同一检查点上,Jigsaw 的 I2T 准确率在 I2I 做对时是 88.2%,做错时掉到 64.3%。
跨任务迁移是选择性的。主图 19 项能力里只有 5 项被至少一个 I2I 源显著拉高。度量三维关系和计数各被 12 个源帮到,2D 排序被 11 个源帮到。OCR、文本识别、外观理解没有这种提升。
| I2I 源 | 理解能力 | 相对 I2T-only |
| 欧氏深度 | 度量三维关系 | +3.8 pp |
| Z-depth / 表面法向 | 度量三维关系 | +3.6 / +3.4 pp |
| Jigsaw | 2D 排序 | +6.8 pp |
| Inpainting | 2D 排序 / 计数 | +7.2 / +1.5 pp |
| 定位 / 物体指向 | 计数 | +2.5 / +2.0 pp |
| 2.5D 分割 | 类别识别 | +1.2 pp |
热图里也有红格子。样本超过 500 的 7 项能力,平均梯度对齐与平均迁移相关 r=0.795;133 个源-目标对上 r=0.529。
给做 omni 模型的人一条具体课表:生成先单独训,而且必须更新共享参数,再接到理解微调。一上来混合,别指望靠堆生成数据把理解抬上去。
任务选择比「加一点生成」更关键。要补三维关系就上深度和法向,要补计数就上定位和指向。梯度对齐可以当配对筛子,0.529 只是中等相关,还不能当自动课表搜索。
这是受控机制研究,不是新 SOTA。BAGEL-7B 上 5 万级 I2I 的涨幅多在 1 到 8 个点,而且只覆盖一部分能力。
正文没有单独的 Limitations 节,边界却很清楚。只跑了 BAGEL 这一套 MoT,共享注意力的梯度通路未必搬到 Janus 或 Transfusion。I2I 对错用 gemini-3.7-flash 当裁判,taxonomy 也是 VLM 标的,人审只有 250 条。热图里出现负迁移,论文把正迁移讲得很细,负迁移的机制讲得少。
迁移阶段的 I2T 是通用 LLaVA-Instruct,不是按目标能力配的。部件识别 54、三维形状 30、遮挡 32 条,主图直接砍掉不足 100 条的能力。梯度相关是关联不是因果。