Asuka-FM: A System-Architectural Co-Design Framework for Efficient Text-to-Image Pretraining on Consumer Hardware
Víctor Rodrigo González, Pablo M. Olmos, Ignacio Peis, Alejandro Lancho
cs.CV, cs.AI
2026-11-20
单张 RTX 4090 花 161 小时、53 美元从零预训练 206M 双流 DiT,GenEval 0.609、DPG 78.51,全程不做 benchmark 微调。
FLUX.1(12B)、SD3、Qwen-Image(20B)这一代文生图基座全靠数据中心集群喂出来,学术组想从零训一个,门槛已经高到不现实。把预算压到单张 RTX 4090(24GB)会连续撞三堵墙:注意力开销随序列长度平方涨;真实图像长宽比多样,动态分桶会让 torch.compile 不停重编译,实际算力利用率(MFU)被打穿;冻结 VAE 在训练时占掉约 60% 墙钟时间,少步推理时解码占 70% 以上延迟。Asuka-FM 把架构、显存层级和训练课表当一个系统来协同设计。
四个设计互相咬合:
数据是 625K 开放域图像(五个源各 125K,含 Pexels、TextAtlas5M),每图 5 条 Qwen3-VL 生成 caption 逐轮换。工程上,256² 的 latent 全量缓存进 128GB 内存,512² 走网络流式,只对 SwiGLU 块做激活重计算,全程平均 MFU 75.6%。
| 模型 | 规模与算力 | GenEval | DPG |
| Asuka-512 | 0.21B,1×4090,81h | 0.609 | 78.51 |
| SDXL Base | 2.6B,数百 A100 | 0.406 | 72.40 |
| SD3 Medium | 2.0B,大规模集群 | 0.620 | 84.08 |
| DeCo-XXL | 1.1B,BLIP3o 微调 | 0.860 | 81.40 |
| MiniT2I-L/16 | 0.91B,8×H100 27 天,BLIP3o 微调 | 0.883 | 84.80 |
成本账更悬殊:Looped-DiT 和 MiniT2I-B/32 各约 $2,016,PixelGen-XXL 约 $2,880,i1 约 38 万美元;Asuka 全程 161.2 小时、$53.20。多数学术基线在 BLIP3o-60K 上微调过(该数据集直接对齐 GenEval 句法),Asuka 没做,GenEval 直接对比是基线占便宜;DPG 78.51 已与 DeCo 的 81.40 同档,明显超 SDXL。
硬件侧有个反直觉数据:同样负载,RTX 4090 比 A40 快 1.97×(每步 308ms 对 608ms),靠的是 72MB 对 6MB 的 L2 缓存和更高的显存带宽,融合核在消费卡上反而跑得开。
推理侧的「摊销不对称」:像素模型每步都要算卷积头,VAE 解码却只付一次,交叉点约 12 步。≥13 步时 latent 反而快 9-31%;≤8 步时像素模型占优,4 步蒸馏采样快 1.44×,1 步快 3.34×。像素适配最终拿到 GenEval 0.568、DPG 75.31,恢复 latent 基座九成五的组合保真度。
从零训文生图基座的门槛,从几千美元的多卡集群降到一张 4090 加两天云租金,代码、权重、数据全开源,预算有限的组和独立研究者有了一条直接可复现的路径。方法价值在于给出了一份每个系统瓶颈都有对应解、且解法互相咬合的完整配方。零样本相机控制不需要额外条件通道;像素引擎对少步蒸馏和 Flow-GRPO 这类要大量 rollout 的在线 RL 尤其实用,12 条 rollout 不再各解一次 VAE。
定位也要说清:206M 参数、625K 图,这是效率极限工作,不是生成能力突破。
作者自述三条:625K 样本在复杂人群场景和长尾概念上不够;多词文字渲染不稳定;像素模式 ≥13 步采样比 latent 慢。读下来另有存疑:GenEval 0.609 距微调基线的 0.86+ 差距明显,「Pareto 最优」只在低计算端成立;训练全程方形裁剪,原生非方形生成没有验证;像素适配阶段的 10 万合成图用 A40 生成,「单卡」叙事里混进了第二张卡(虽然只花 $6);相机控制的稳健结论主要来自长宽比天然的 Danbooru 模型,开放域模型在部分 prompt 上有几何畸变,作者归因于训练集的长宽比分布。