微信 WeLM-Image 论文详解:MoT-MoE 架构,单卡可部署的 31.7B 图像模型
bdsqlsz · x · 2026-11-08
WeLM-Image 是微信团队发布的统一图像基础模型,把多模态理解融入文生图、指令编辑与多参考图合成,专为微信大规模消费级应用的单 GPU 部署设计。要点:
架构
- 文本、参考图、目标 latent 作为一条交错序列统一处理
- Mixture-of-Transformers (MoT) 主干:共享注意力 + 理解/生成参数独立,减少优化干扰
- 每条路径配 MoE 模块:存储 31.7B 参数,每个目标 latent token 激活约 5.4B
- 27 层 MoT-MoE 解码器,MLA 投影 + 统一 3D RoPE,64 路由专家(理解 Top-6/生成 Top-20)
数据与训练
- 生成导向数据引擎:知识接地视觉词表 + 大规模视觉聚类
- 双语标注,渐进训练至原生 1.5K 分辨率
- 生成与编辑分别用 rubric/checklist 奖励优化,再通过噪声感知 on-policy 蒸馏合并
模型未开源,配图展示风格迁移、海报设计、姿势调整、多图拼贴、路人移除等编辑能力。
所属事件:微信团队发布31.7B统一图像模型WeLM-Image(2 条相关)→
「多模态」频道最新
- AI 生成脑洞产品设计:蝙蝠侠马克杯配蝙蝠飞镖杯垫 — Delahuntagram · 2026-11-08
- 「皮克斯要完」:网友称 AI 生成视频已比迪士尼动画更娱乐 — ZabihullahAtal · 2026-11-08
- thespite 预告新作品：有机多孔 3D 形态渲染接近完成 — thespite · 2026-11-08
- MOSS 图像模型参数实测：Karras 等 Scheduler 会直接毁掉出图 — Officially_Beck · 2026-11-08
- MiniMax H3 单帧编辑保角色一致性，还要训练角色 LoRA 吗？ — arthan1011 · 2026-11-08
- 三位老奶奶户外操作模块合成器：Google Flow Omni 1.2 Flash 15 秒视频生成实测 — daniel_mac8 · 2026-11-08