UniSpark: Exploring Hybrid Attention for Multimodal Understanding and Generation
Jiancheng Pan, Yuzheng Liu, Hengyuan Cao, Qiyuan Zhang, Yangyan Li, Biao Gong, Zheng Zhang, Ka Long Cheng, Xinyang Wang, Yujun Shen
cs.CV
2026-11-12
两支各9B的UniSpark混用全注意力与线性注意力，MME-S达2470.3，1024出图提速至3.23倍。
理解读图，生成画图。交错输出还要求上一张成图约束后面的文字和编辑。连续潜空间里，去噪中的目标是噪声，只有采样结束的干净表示能进后文。噪声留在上下文里，后续预测会吃到中间态；视觉历史整段丢掉，编辑就没有参照。
高分辨率和多图把视觉 token 抬高。全注意力做 token 两两交互，计算随长度平方增长。线性注意力把历史压进递推状态，按线性计费，细粒度检索偏弱。统一模型要同时扛因果文本、迭代去噪，以及干净图可复用、噪声目标必须隔离。
UniSpark-9B 沿用 BAGEL 的 Mixture-of-Transformer-Experts（MoT，按 token 类型分专家，注意力共享上下文）。9B 是每一支的规模：理解专家和生成专家各约 9B。文本和语义特征走理解专家，语义特征来自 Qwen3.5 视觉编码器。生成目标和干净上下文走生成专家，由冻结的 Wan2.2 VAE 编成 latent 再切 patch。
层间交替全注意力和 GatedDeltaNet。后者用遗忘门和 delta 更新维护一个大小固定的矩阵状态，计算随序列长度线性增长。两类 token 用各自投影，共用循环状态和短卷积历史，换专家不清空上下文。
块规则把噪声目标留在私有侧。后文看得见干净图，看不见噪声块；噪声块能读前文，读不到自己后来的干净版本。全注意力靠可见性 mask，块内文本因果、视觉双向。线性注意力在噪声块上做局部更新，算完丢掉状态和卷积历史，只有文本和干净图写回公共状态。训练时干净图来自真值图像；推理时等采样结束再编码进上下文。
损失是文本交叉熵加视觉 flow matching：在干净 latent 和噪声之间插值，网络预测速度。四阶段从 256 尺度联合建模，到 512，再到 1024 直至 2K，最后 SFT。高分辨率阶段文本损失系数为 0.25、视觉为 1，并停用交错数据。主训练源有生成样本 1.5966 亿、理解样本 2.1339 亿（caption 9998 万、视觉问答 9790 万、OCR 999 万、grounding 451 万、GUI 100 万），外加纯文本 9790 万、编辑 50 万、交错序列 62.48 万。理解条数是任务组相加，没有按图像去重。视频适配在 SFT 之后进行，理解支冻结，视频生成、视频编辑、图像生成、图像编辑按 5:1:1:0.1 采样。
表 5 里，UniSpark 的 MME-P、MME-S、MMBench、MMVP 为 1766.0、2470.3、86.7、72.0，四项都是所列最高。对照 BAGEL（7B MoT），六个理解家族都更高：MM-Vet 73.4 对 67.2，MathVista 77.2 对 73.1。
Qwen3.5-9B 只做理解，MME-S 2439.1，MMMU-Val 43.1，MMVP 70.7，但 MM-Vet 79.6、MathVista 79.6，高出 6.2 和 2.4。MMMU 上 MetaQuery-XL 的 58.6 仍高于 UniSpark 的 56.7。感知分高，推理并没有一起领先。MMBench 抽取协议也不完全相同：UniSpark 只用规则，Qwen3.5 与 SenseNova-U1 使用 Qwen 回退。
| 方法 | 指标 | 结果 |
| UniSpark | MME-S / MMBench / MMMU / MMVP | 2470.3 / 86.7 / 56.7 / 72.0 |
| BAGEL 7B | 同上 | 2388.0 / 85.0 / 55.3 / 69.3 |
| Qwen3.5-9B | 同上 | 2439.1 / 85.1 / 43.1 / 70.7 |
| SenseNova-U1 | 同上 | 2343.5 / 82.8 / 53.1 / 58.7 |
| UniSpark | GenEval / DPG-Bench | 0.83 / 80.54 |
| BAGEL | GenEval / DPG-Bench | 0.82 / 85.07 |
| LLaDA2.0-Uni | GenEval / DPG-Bench | 0.89 / 87.76 |
| Qwen-Image | GenEval / DPG-Bench | 0.87 / 88.32 |
SFT 之后 GenEval 总体 0.83，接近 BAGEL 直接生成的 0.82，低于 LLaDA2.0-Uni 的 0.89、Lumina-DiMOO 的 0.88。分项里单物体 0.99、颜色 0.94、双物体 0.93，计数 0.68、位置 0.67、属性绑定 0.73。DPG-Bench 总体 80.54，低于 BAGEL 的 85.07 和 Qwen-Image 的 88.32；实体 82.62，属性 77.07，关系 76.71。物体和颜色稳，组合关系弱。这些基线沿用原评测设置，UniSpark 的分数是单独测的。
ImgEdit 共 737 条，评审是 Qwen3-VL-235B。总分 3.13，风格 4.05、添加物体 3.72 较高，抽取 1.68、混合编辑 1.62 最低。评审与已发表基线不同，不能跟 Qwen-Image-Edit 的 4.35、BAGEL 的 3.20 直接排名。
单卡 H20-3e、BF16、batch 1 上，1024 边长生成的中位延迟从 BAGEL 的 45.80 秒降到 14.16 秒，速度约为原来的 3.23 倍；512 边长从 11.76 秒降到 7.27 秒，速度约为原来的 1.62 倍。2048 边长 BAGEL 未报告，UniSpark 为 51.48 秒，快于 SenseNova-U1 的 58.34 秒，峰值显存则是 62.74 GB 对 37.39 GB。同一 1024 边长，BAGEL 用 4096 个图像 token，UniSpark 用 1024 个，更高的 tokens/s 并不代表出图更快。理解侧固定输出 128 个文本 token、输入 1024 个视觉 token 时，UniSpark 解码 22.19 token/s、总延迟 6.02 秒；BAGEL 为 36.60 token/s、3.76 秒；SenseNova-U1 为 18.09 token/s、7.32 秒。视觉 token 从 256 增到 1024，总延迟只从 5.94 秒变到 6.02 秒。
交错和视频没有定量分数。
视觉 token 是统一模型的主要开销。按层混用两种注意力，两两交互和线性递推各管一段。1024 分辨率相对 BAGEL 的 3.23 倍提速，是这篇最能核对的系统结果，代价是 2K 时峰值显存升到 62.74 GB。
理解没有被生成训练拖垮，MME-S 高于表里的统一模型，也略高于 Qwen3.5-9B。生成侧是小步：GenEval 与 BAGEL 持平，细提示的 DPG-Bench 仍落后专用文生图模型。一套权重可以同时做问答、2K 出图和指令编辑，替换不了当前最强的专用生成器。
规模、数据和评测协议都不同，理解涨分不能单独记在混合注意力上。效率实验同样没有拆出注意力形式的净贡献。SenseNova-U1 的 512 与 1024 测速，落在它推荐的训练分辨率之外。
ImgEdit 换了评审，3.13 只说明自家类别差距：风格还行，抽取和混合编辑差。交错例子从 12 组里挑选，火焰方向和水母收缩仍然不准。视频适配冻住了理解支，也没有指标。
理解样本 2.13 亿是任务组相加，重复要另算。高分辨率阶段停用交错数据，SFT 设置被标为初步。全注意力与 GatedDeltaNet 如何配层、丢掉噪声状态有多大作用，都没有消融。相关工作写明，同时支持两个任务不等于任务之间有交叉收益，这篇没有检验这一点。