WeLM-Image: A Unified Image Generation Model towards Visual Intelligence
Canmiao Fu, Chen Li, Guohui Zhang, Hao Lu, Hongyang Wei, Huadong Wu, Huaisong Zhang, Hubery Yin, Liyuan Cui, Qixin Yan, Tong Shao, Xiaoqiang Zhou, Xinhang Leng, Ying Zhang, Zhenhai Liu, Zhipeng Huang
cs.CV, cs.AI
2026-11-05
微信 WeLM-Image 用双路 MoT–MoE 统一文生图、编辑和多参考合成，存参 31.7B、生成侧约激活 5.4B。1536 模型在三项开源榜居首，八步 Turbo 在单张 H20 上 4.98 秒画出 1024 图。
消费级图像产品卡在细粒度控制。同一模型要听长中英文约束，把画面里的字写对，按一句指令改图还不丢主体，还要把多张参考里的身份、衣服和场景拆开再合上。扩散和 flow 模型把提示对齐做上去之后，剩下的是这些控制，再加上单卡扛得住的成本。
Qwen-Image 用多模态语言模型做条件，并靠可重建特征保住编辑。HunyuanImage 3.0 把语言建模和出图放进共享骨干。两种损失差得远，参数全共享时会互相拖。微信把单卡部署和单次成本写成规模上限。WeLM-Image 用一条交错序列覆盖文生图、指令编辑和多参考合成。
输入按原文顺序交错排列。没有参考图即文生图，有参考图即编辑或多参考。理解样本是可选图像加问题，交叉熵只打在回答上。多条样本打成最长 64K token 的包，彼此隔离。
每张图进两个编码器。ViT 走理解路径，看物体、关系和版面；VAE 走生成路径，留下可重建的 latent。参考图两份都留，目标只以加噪 latent 出现，flow matching 预测噪声走向干净图的速度。条件 token 算一次即缓存，每步只重算带噪目标。
骨干是 MoT–MoE。理解和生成各有投影、归一化和专家，每一层共用注意力，目标查询仍能读到文本和参考图。两套参数让两种损失少互相拖，专家池也不共享。27 层、隐层 2048，存参 31.7B，含 ViT、不含 VAE。理解 token 从 64 个专家中选 6 个，激活约 2.2B；目标 latent token 选 20 个，激活约 5.4B。文本和 ViT 走理解，干净参考与带噪目标走生成。带噪目标的键值对其他片段隐藏。文本坐标取 (p, p, p)，三相之和等于原来的一维 RoPE，VAE 格子再加居中的高宽。
VAE 先重建，再把语义几何对齐到 DINOv2，最后只在富文本图上微调解码器。两条路径都从 Kimi-VL 初始化。交叉熵与 flow 的权重是 0.25 比 1。flow 按整图平均，1024 和 1536 等权。
原始池约 50 亿张，筛到约 6 亿，其中 59.74% 落在 1024 及以上的分辨率档。知识图谱概念按配额抽样，用来抬长尾；聚类覆盖还没有稳定名字的外观。编辑先派任务再写指令，目标侧留真实图。多参考每条 2 到 4 张、18 类任务，实体池约 75 万张。分辨率从 512 收到 1536 再做监督微调。前两段理解数据占 20%，其后降为 0。微调比例为文生图 60%、编辑 30%、多参考 10%。
后训练把文生图和编辑拆开做强化学习。骨干冻结，只更新生成侧低秩适配，适配盖住专家层后两个任务都更好。文生图有四项奖励，提示对齐是出图前写好、且不看图的条目。编辑用清单，总分等于跟随分乘以（0.4 + 0.4×一致性 + 0.2×画质），指令没执行就不能靠画质翻盘。27 类动作按易中难 3:5:2 抽样。两条专才按噪声蒸馏回一个模型：高噪声学构图，低噪声学局部。MeanFlow 再收到八步，并去掉引导。
1536 分辨率模型在所报告的总体比较中，于被评估的开源模型里居 PRISM-Bench、Qwen-Image-Bench 和 UnicBench 首位。摘要给了名次，没有给分差。
| 方法 | 指标 | 结果 |
| Turbo，8 步、无引导，单张 H20 | 1024 出图 | 4.98 秒 |
| 相对 50 步且带引导的基座 | 加速比 | 11.4 倍 |
| Turbo 编辑，1–4 张输入 | 1024 输出耗时 | 6.78–13.17 秒 |
| 全模型 / 生成侧 | 存参 / 每 token 激活 | 31.7B / 约 5.4B |
| 理解侧 | 每 token 激活 | 约 2.2B |
VAE 为 8375 万参数，8 倍压缩、16 通道。三套重建的 PSNR 都最高：COCO 512 为 34.89，高于 FLUX-VAE 的 34.20 和 Qwen-VAE 的 33.60；海报 1024 为 34.47，高于 33.91；ImageNet 512 为 38.49，高于 37.99。SSIM 不占先，32 通道的 FLUX.2-VAE 在 COCO 上为 0.9540，本模型为 0.9498。
冻住各家 VAE，用 LightningDiT-XL/2 在 ImageNet 256 上训 80 个 epoch，无引导抽 5 万张。16 通道里本模型 FID 12.21、IS 97.96，优于 Qwen-VAE 的 15.29 与 84.62，也优于 FLUX-VAE 的 27.63 与 55.10。32 通道 FLUX.2-VAE 的 FID 为 9.87，更低。约 12.6 亿参数的 Hunyuan-3.0-VAE 没进这组对比，编码器比训练头还大，重建 PSNR 也更低。
单卡是前提。条件只算一次、生成侧激活约 5.4B、八步且不走引导分支，避免每一步重算整段多参考上下文。图 1 把吞吐随输入图张数的变化单独画出来。
增量是收成一条能在 H20 上服务的流水线，并用概念配额、反向编辑对和中文字形检测去压网页词频。乘法门写进了公式：画质不能补偿没执行的指令。4.98 秒一张 1024 图进得了异步队列，进不了键入即出。编辑从 6.78 秒增到 13.17 秒。
1536 和监督微调阶段，理解数据占比是 0。作者写明这一版仍以生成和编辑为主，看图能力留到下一版。
奖励基本由 VLM 打出。作者承认通用 VLM 看不清中文字形，所以另训了笔画检测器。其余奖励与人类偏好的一致性没有测量。裁判偏了，策略会跟着偏。
开源居首只在被评估的开源集合里成立。摘要没有分差，闭源模型也不在同一句比较里。WeGenEditBench 若无公开同题，名次无法在外面复算。11.4 倍只相对于自己的 50 步引导基座。
概念表、美学分和约 6 亿图的筛选都绑在微信内部。多参考有一条路径用别的编辑器合成目标，分布受那个模型限制。分开训练再合并后各掉多少，文中没有给数字。