华科 MF-1:一个连续 flow 目标统一图文生成与理解

Multimodal Flow: Unified Flow Modeling of Language and Vision in Embedding Spaces

Hongyuan Tao, Xinggang Wang, Lianghui Zhu, Yongkang Li, Yunchao Wei, Bin Feng, Shaoyu Chen, Qian Zhang, Chang Huang, Kai Yu

cs.CV

2026-10-01

文本和图像全部连续化,共用一个 flow 生成目标从头预训练;1.6B/150B token 拿下 GenEval 0.82,同预算下胜过离散与混合架构。

这篇在解决什么

统一多模态模型想让一个网络同时做理解和生成,现有方案分两派。全离散派(Chameleon、Emu3、Show-o)把图像量化成视觉 token,和文字拼进同一条离散序列,训练目标统一,但视觉质量被 tokenizer 封顶:量化丢掉的细节,后面的 backbone 再大也找不回来。混合派(Transfusion、JanusFlow)文本走自回归、图像走 diffusion 或 flow,保住了视觉连续性,代价是一套系统要维护两套目标、两套扰动调度、两套采样流程。

第三条路是全连续:文本和图像都留在连续嵌入空间,共用一个生成目标和采样过程。组件其实已经齐了,ELF 证明文本嵌入能直接用 Flow Matching 建模,视觉侧的 representation autoencoder 也成熟,但把两边接起来、用随机初始化的 backbone 做混合多模态预训练,此前没有系统验证。Multimodal Flow(华中科技大学 Vision Lab、北京交通大学、地平线)补的就是这块,代码和模型已开源。

方法

核心是把两种模态切成统一的「hyperchunk」,再用一个 chunk 级因果的 flow backbone 一起建模:

• 连续表征:冻结的 T5-small 把文本按 8 个 token 一块编码成 512 维向量,保留块间顺序;冻结的 SigLIP2 把 224×224 图像编成 16×16 共 256 个向量,保留空间网格。一张图是一个视觉 chunk,一个文本块是一个文本 chunk。
• chunk 因果分解:序列的联合分布按 chunk 顺序拆开,预测当前 chunk 时只能看前面的干净 chunk,chunk 内部位置联合建模。注意力投影全模态共享,负责跨模态交互;FFN 按模态分开,消融显示共享 FFN 会明显掉分,尤其伤图生文。
• 并行训练:每个目标 chunk 独立加噪、独立采样时间步,backbone 从噪声态回归干净终点,损失是速度场 MSE。因果掩码让多个目标 chunk 在一次前向里同时预测,配合 sequence packing 提效。
• 顺序推理:下一个 chunk 从高斯噪声积分到数据,生成完追加进上下文,已完成 chunk 的 KV 可缓存。VQA 每个文本 chunk 走 16 步采样,文生图走 64 步。
• 冻结解码器:文本端用单独训练的 6 层双向 Transformer 把连续向量逐块还原成 token,图像端用预训练的表征解码器,两个解码器在 flow 训练期间都不动。

换任务只换 chunk 的内容和顺序,目标函数不动:纯文本、图生文、文生图、VQA 全走同一条 Flow Matching loss,下游微调也一样。CFG 也双向通用,同一公式下文生图在 guidance scale 5 最好,图像描述在 3 最好。

结果

主模型 MF-1:1.6B backbone 从头预训练 150B token、微调 5B;预训练配比 70% 纯文本、20% 图像理解、9% 文生图、1% 纯图像。

文生图(GenEval overall):

DPG-Bench 83.44,GenEval 与 DPG-Bench 均分 82.8,论文称其在统一模型里组合生成与长提示对齐都最强。

理解侧,对同样从头训练的统一模型优势很大:MMBench 67.2 对 Muddit 的 28.4,SEED-Bench 62.4 对 13.0,VQAv2 72.6 对 D-DiT 的 59.5,而后两者各用了约 400B、4.3T token,MF-1 只有 150B。带 LLM 初始化的 Janus-Pro(1.5B,约 2T token)仍以 79.8 对 72.6、74.9 对 67.2 领先。VQAv2、MMBench、POPE 三项均分 75.3。

最有说服力的是同预算对照:同样的数据、优化日程和可训练参数量(1.6B,50B 预训练加 5B 微调)。

预训练迁移同样实在:对比随机初始化直接在下游数据上训 155B token,150B 预训练加 5B 微调把 GenEval 从 0.527 提到 0.821,SEED-Bench 从 31.6 提到 62.4,MMBench 从 36.0 提到 67.2。

消融里有一条对文生图从业者独立有用的结论:同等预算下,语义表征(DINOv2、SigLIP2)作为生成状态优于重建导向的 VAE latent(FLUX.2、SD-VAE),原始像素最差;DINOv2 生成分最高,SigLIP2 在生成与图像描述之间更均衡。

为什么重要

这篇把「全连续统一模型」从概念验证推到了有对照实验支撑的位置:同预算下全面超过 Transfusion 式混合和 Chameleon 式离散,单一连续目标没有在任何一侧付出代价。对从业者,它意味着一条更简单的训练管线:没有 tokenizer 要调,只有一套采样器,1.6B/150B token 的量级也远低于动辄数万亿 token 的工业统一模型。「语义表征优于 VAE latent」这条消融独立于主结论成立,对 T2I 方向直接有参考价值。

定位要诚实:理解侧分数仍低于 LLM 初始化的 Janus 系列。这篇证明的是范式可行且有竞争力,还没有证明范式更优。

局限与存疑

论文自述的边界:交错长序列、视频和其他模态留作未来工作。此外几处没说透:

• 图像固定 224×224、16×16 网格,生成分辨率天花板很低;文本编码器 T5-small 容量同样有限。
• 量化瓶颈换成了冻结编码器瓶颈,SigLIP 丢掉的高频细节同样回不来,论文没有正面讨论这层类比,表征对比实验只算部分回应。
• 推理成本未披露:文本每 8 个 token 一个 chunk、每个 chunk 走 16 步采样,长回答的延迟可能明显高于自回归解码,论文没有给任何速度数字。
• 语言能力只用 GPT-2-large 困惑度衡量,没有与自回归基线在纯文本 benchmark 上对垒;连续文本生成的长程连贯性和事实性未评估。
• 对 Janus-Pro 的理解差距(OK-VQA 39.1 对 48.7)可能主要来自数据量(150B 对约 2T),但论文没有做加大数据的 scaling 外推。

术语

• Flow Matching:连续生成模型的训练法,学习把噪声分布流向数据分布的速度场,是 diffusion 的近亲,采样路径更直。
• hyperchunk:论文定义的生成单元,8 个 token 的文本块或一整张图的 256 个 patch 向量,chunk 内联合建模,chunk 间按序生成。
• 量化瓶颈:图像压进离散码本时丢失的细节,后续模型永远无法恢复。
• Transfusion:混合范式代表,同一个 transformer 里文本用 next-token 交叉熵、图像用 diffusion。
• classifier-free guidance(CFG):推理时对有条件与无条件预测做外推组合以强化条件遵循,这里一套公式同时服务文本和图像生成。
• representation autoencoder:用预训练视觉编码器而非 VAE 提供连续生成空间,保留语义与空间结构。

原文与代码

• arXiv 2609.40362v1
• PDF
• Hugging Face
• GitHub · https://github.com/hustvl/Multimodal-Flow

相关论文

• 不靠对抗训练:DeepMind 用离散码让自回归模型画出 256×256 图像
• 给 LLM agent 配乐高 SDK,物理有效率从 9% 提到 100%
• 22个模型最高58.5%,五域基准显示卡在视觉状态
• 灰盒游戏画面重绘后，实体时序匹配从 50.9% 升到 62.9%
• 八亿模型三阶段训练后,伪影F1从3.38到35.42
• 相邻帧query差值修正谓词,切换帧R@10涨了4.8点

全部论文解读