MOSS-Image Technical Report
MOSI. AI
cs.CV
2026-10-16
从零预训练的 5B DiT 加 GPT-6 布局规划器,千字长文渲染覆盖 96.3% 居开源第一,端到端仅次于 GPT Image 2。
闭源文生图系统已能稳定产出信息图、UI 稿、知识卡这类高密度图形,开源权重模型还卡在两件事:几百字的长文本画不清,版面元素摆不到位。论文把这个差距拆成两个耦合的问题:渲染是把长文本和空间约束忠实画出来,规约是把用户一句话的模糊需求展开成内容和布局的详细说明。规格再详细,画不出来没用;渲染再强,用户没写的内容和设计决策仍无人补位。整个系统按这个诊断设计。
骨干是从零预训练的 5B 单流 DiT,文本端用冻结的 Qwen3.5-9B 编码器,图像端用冻结的 FLUX.2 VAE,RoPE 扩成四维、留一维参考轴给未来的参考图条件生成。最关键的设计是:自然语言描述和结构化布局 JSON 走同一条文本条件通路,模型不区分两种输入,后面 agent 的布局输出因此无需额外接口。
训练配方有三个点值得记:
推理时的提示增强(PE)模块用 GPT-6 做规划器:按海报/信息图/UI 路由,联网检索知识与视觉参考,输出含字面文本、元素、bbox、排版的 JSON 规格,校验后送进骨干的同一条条件通路。与只产自然语言提示的通用 agent 不同,它能直接下达结构化布局。
| 基准 | 对照 | 结果 |
| LLTB Mean-6(自建,目标平均 1340 字) | Qwen Image 2512:64.9;Ideogram 4:63.5 | 96.3,开源第一 |
| LLTB 最长档 | 英文 97.1,中文 92.4 | |
| 7Bench 布局 mIoUdet / AUC | Ideogram 4:0.44 / 0.20;GPT Image 2:0.30 / 0.16 | 0.88 / 0.70,全部参评模型第一 |
| RLA 端到端 Elo(61 任务人工盲评) | GPT Image 2:1844.4;Seedream 5.0 Pro:1661.2 | 1698.7,第二 |
| 共享增强提示下的骨干 Elo | ERNIE Image:1748.5 | 1807.3,第一 |
提示策略消融把两层贡献拆开:短请求 1081.7 Elo,详细提示 1509.2,PE 的 JSON 布局规格 1622.9;同一规格改写成自然语言只有 1506.2,结构化比散文多拿约 117 Elo,共享增强提示下骨干再抬到 1807.3。论文还判定 LongTextBench 已饱和:各模型挤在 96.0598.85,目标平均才 120 字;自建的 LLTB 目标平均 1340 字,长度是它 11 倍。
这套工作把开源模型在页面级长文本与版面控制上的成绩拉到接近闭源第一梯队,且配方披露得细:数据保留策略、换行监督、坐标表示都有消融,零中心绝对 bbox 比 01000 归一化更耐分辨率外推这条经验可以直接拿去用。做海报、信息图、UI 生成的团队可以借鉴「骨干 + 结构化规划 agent」的架构和 JSON 布局接口。冷静地说,单点创新有限,更像一份工程整合度很高的复现报告,价值在配方与基准的完整公开。
作者自认两条:骨干不支持参考图条件与图像编辑;PE 依赖外部语言模型,其审美判断与事实错误会污染规格质量。而 PE 用的是闭源 GPT-6,这套「开源系统」的推理链路并不全开源。评测侧另有几点:RLA 仅 61 个任务,MOSS 对 Seedream 只领先约 37 分,而自身置信区间宽约 85 分,第二名并不稳;LLTB 覆盖率是词元多重集召回,不查顺序、不罚多余字符,高分不保证排版正确;LLTB 与 RLA 均为自建自评,未经社区复核;GPT-6 规划的成本与延迟未披露。骨干评测一节也写明,结果刻画整体能力,未隔离各项训练选择的因果贡献。