不拆骨干不加 MoT,百度 HiUni 用 0.9B 扩散头统一理解与生成

HiUni: Harmonizing Understanding and Generation in Shared Visual Space

Jiahao Hu, Jingdong Du, Yichen Zhang, Yi Song, Zhenyu Zhang, Jiaxin Niu, Ruihang Li, Xiangzhao Hao, Yiqian Zhang, Yong Huang, Zefeng Zhang, Zheyuan Gu, Shuohuan Wang

cs.CV, cs.AI

2026-11-19

把 Qwen3-VL-4B 直接扩成统一模型,理解均分 75.56 基本不掉,生成在对比 UMM 中中文第一

这篇在解决什么

统一多模态模型(UMM)想用一个模型同时做图像理解和图像生成,但主流架构上来就先拆:Janus 给理解和生成各配一个视觉编码器,语言对齐的 ViT 抽语义,重建导向的 VAE 保细节;Bagel 更进一步,用 Mixture-of-Transformers 把骨干内部也按任务分家。拆的理由是两个任务目标冲突,硬塞进一个表示空间会互相干扰。代价同样直接:两个视觉空间不互通,理解借不上生成的力,「统一」只停留在参数层面。

百度 ERNIE 团队这篇要回答的问题是:这种拆分是不是必需的。能不能拿一个预训练好的 VLM,不拆编码器、不加任务专属骨干,把生成能力直接长上去。

方法

HiUni 从 Qwen3-VL-4B-Instruct 初始化,理解和生成共用同一个 ViT、同一套 patch merger 之后的视觉 token、同一个 dense Transformer 骨干。任务差异全部推到输出侧:理解走原有的语言建模头,生成走新增的 Pixel Diffusion Head。总规模 4B + 0.9B。

直接这么干有两个坑,两个核心模块就是为它们设计的。

一是像素空间扩散难优化。HiUni 不走 VAE latent,直接在像素上扩散,早期实验里标准 DiT 的逐块 AdaLN 调制频繁触发 loss spike。Pixel Diffusion Head 干脆把块级 AdaLN 全部去掉,退化成普通 Transformer 块;时间步条件改由一个 time token 进共享骨干,只在最终预测前保留一次调制。每个视觉 token 预测一个 32×32×3 的像素块。

二是预训练 ViT 的语义抽象加上 patch merger 的空间压缩(有效 patch 尺寸从 16 翻到 32),把合成需要的高频细节丢掉了。HiGate 是条轻量残差通路:把加噪图在进 ViT patch embedding 之前的原始像素,按目标 token 的空间布局拼好、线性投影,再用逐 token 门控注入扩散头。语义建模留在主干,空间细节到最后一刻才补进来。

训练分三段:先冻结全部预训练组件,30K 步 warmup 只训新模块;然后全量解冻联合预训练 310K 步,生成分辨率从 256² 渐进到 2048²,任务配比纯文本:理解:生成 = 0.1:0.3:0.6;最后 22K 步 SFT 加入图像编辑。生成用 x-prediction 加 velocity 目标,噪声尺度随 token 数调整。

结果

理解侧,7 个基准平均 75.56,初始化来源 Qwen3-VL-4B-Instruct 官方为 75.61,几乎没掉;OmniDocBench 同为 0.24。生成和编辑:

对照指标结果
Qwen-Image-Bench 中文 Overall生成47.63,所列 UMM 中最高;英文 50.52
OneIG 英文 Overall生成0.538,最强 UMM 为 0.561
ImgEdit Overall编辑3.66,统一模型第二(UniSpace 3.82)
GEdit 中/英 Overall编辑6.70 / 6.81,第二(SenseNova-U1 7.05 / 6.94)
LongCat-Image-Edit编辑专用4.02,与 Qwen-Image-Edit-2511 的 4.01 仍明显领先

信息量最大的是 4.3 节受控对比(参与对比的模型训练量远小于主模型)。Dense-2B 和 MoT-2B 同配方、同初始化,只差骨干是否共享:理解平均 58.55 对 59.23,OneIG 0.291 对 0.345,同设置下任务路由确实更利于生成。但把相近的总参数投到更大的共享骨干上(Dense-4B,同样 4B+0.5B),六个理解基准全超 MoT-2B(平均 65.04 对 59.23),生成 0.314 只小幅落后。单任务基线给出联合训练的真实代价:纯生成的 Gen-4B OneIG 到 0.390,联合训练 0.314;理解侧反而略升(65.04 对 64.58)。

HiGate 消融很干净:去掉残差通路 OneIG 掉到 0.267,换 ViT 特征 0.284,原始像素 0.314,理解分三种设置都停在 65 附近。门控强度随去噪推进变大,接近干净图时最强,和「细节后期才重要」的直觉一致。另外,加入编辑监督让理解平均从 62.64 涨到 64.49,OneIG 从 0.538 微降到 0.528,跨任务正迁移和干扰并存。

为什么重要

这条「从成熟 VLM 扩展统一模型」的路径被砍到最简:不拆编码器、不复制骨干、不加 MoT,新增计算不到 1B 且全在输出侧,预训练资产和 VLM 基础设施原样继承。受控实验还给出一条预算规则:总参数相近时,优先扩大共享 dense 骨干比拆两条任务分支划算,理解全赢、生成小输。属于渐进改进,但证据扎实,方向可用。

局限与存疑

生成仍是短板。同设置下输给 MoT(0.291 对 0.345),联合训练比纯生成基线低 0.076,共享骨干把干扰压小了,没有消除。编辑落后专用模型 0.36 分以上。

理解的对照不算干净:75.56 对的是官方 Instruct 数字和自己重测的 thinking 版;MMBench、OCRBench 明显下降,作者归因于训练数据分布,没有实验支撑。各基线多取自原论文官方结果,判分用 GPT-5.2,横向可比性有限。

去掉 AdaLN 的依据是两次开发期训练曲线,作者自己写明分辨率调度不同、阶段不同,只是定性对比。训练算力未披露,310K 步、最高 2048² 分辨率的联合预训练成本只能猜。作者也承认这篇只做到「能力共存」这一层,理解和生成的相互增强还只是初步信号。

术语

原文与代码

相关论文

全部论文解读