单卡 4090 花 53 美元,从零预训练 206M 文生图 DiT

Asuka-FM: A System-Architectural Co-Design Framework for Efficient Text-to-Image Pretraining on Consumer Hardware

Víctor Rodrigo González, Pablo M. Olmos, Ignacio Peis, Alejandro Lancho

cs.CV, cs.AI

2026-11-20

单张 RTX 4090 花 161 小时、53 美元从零预训练 206M 双流 DiT,GenEval 0.609、DPG 78.51,全程不做 benchmark 微调。

这篇在解决什么

FLUX.1(12B)、SD3、Qwen-Image(20B)这一代文生图基座全靠数据中心集群喂出来,学术组想从零训一个,门槛已经高到不现实。把预算压到单张 RTX 4090(24GB)会连续撞三堵墙:注意力开销随序列长度平方涨;真实图像长宽比多样,动态分桶会让 torch.compile 不停重编译,实际算力利用率(MFU)被打穿;冻结 VAE 在训练时占掉约 60% 墙钟时间,少步推理时解码占 70% 以上延迟。Asuka-FM 把架构、显存层级和训练课表当一个系统来协同设计。

方法

四个设计互相咬合:

数据是 625K 开放域图像(五个源各 125K,含 Pexels、TextAtlas5M),每图 5 条 Qwen3-VL 生成 caption 逐轮换。工程上,256² 的 latent 全量缓存进 128GB 内存,512² 走网络流式,只对 SwiGLU 块做激活重计算,全程平均 MFU 75.6%。

结果

模型规模与算力GenEvalDPG
Asuka-5120.21B,1×4090,81h0.60978.51
SDXL Base2.6B,数百 A1000.40672.40
SD3 Medium2.0B,大规模集群0.62084.08
DeCo-XXL1.1B,BLIP3o 微调0.86081.40
MiniT2I-L/160.91B,8×H100 27 天,BLIP3o 微调0.88384.80

成本账更悬殊:Looped-DiT 和 MiniT2I-B/32 各约 $2,016,PixelGen-XXL 约 $2,880,i1 约 38 万美元;Asuka 全程 161.2 小时、$53.20。多数学术基线在 BLIP3o-60K 上微调过(该数据集直接对齐 GenEval 句法),Asuka 没做,GenEval 直接对比是基线占便宜;DPG 78.51 已与 DeCo 的 81.40 同档,明显超 SDXL。

硬件侧有个反直觉数据:同样负载,RTX 4090 比 A40 快 1.97×(每步 308ms 对 608ms),靠的是 72MB 对 6MB 的 L2 缓存和更高的显存带宽,融合核在消费卡上反而跑得开。

推理侧的「摊销不对称」:像素模型每步都要算卷积头,VAE 解码却只付一次,交叉点约 12 步。≥13 步时 latent 反而快 9-31%;≤8 步时像素模型占优,4 步蒸馏采样快 1.44×,1 步快 3.34×。像素适配最终拿到 GenEval 0.568、DPG 75.31,恢复 latent 基座九成五的组合保真度。

为什么重要

从零训文生图基座的门槛,从几千美元的多卡集群降到一张 4090 加两天云租金,代码、权重、数据全开源,预算有限的组和独立研究者有了一条直接可复现的路径。方法价值在于给出了一份每个系统瓶颈都有对应解、且解法互相咬合的完整配方。零样本相机控制不需要额外条件通道;像素引擎对少步蒸馏和 Flow-GRPO 这类要大量 rollout 的在线 RL 尤其实用,12 条 rollout 不再各解一次 VAE。

定位也要说清:206M 参数、625K 图,这是效率极限工作,不是生成能力突破。

局限与存疑

作者自述三条:625K 样本在复杂人群场景和长尾概念上不够;多词文字渲染不稳定;像素模式 ≥13 步采样比 latent 慢。读下来另有存疑:GenEval 0.609 距微调基线的 0.86+ 差距明显,「Pareto 最优」只在低计算端成立;训练全程方形裁剪,原生非方形生成没有验证;像素适配阶段的 10 万合成图用 A40 生成,「单卡」叙事里混进了第二张卡(虽然只花 $6);相机控制的稳健结论主要来自长宽比天然的 Danbooru 模型,开放域模型在部分 prompt 上有几何畸变,作者归因于训练集的长宽比分布。

术语

原文与代码

社区讨论

相关论文

全部论文解读