206M 双流 DiT 单卡 4090 训练 160 小时,成本不到 55 美元
bdsqlsz · x · 2026-11-20
论文《Asuka-FM》提出一套面向消费级 GPU 的文生图预训练协同设计框架:在单张 RTX 4090(24GB)上从零预训练约 206M 参数的双流 DiT,仅用约 160 GPU 小时、成本低于 55 美元、512px 分辨率,取得 GenEval 0.609 与 DPG-Bench 78.51,在 0.066×10²¹ FLOPs 的去噪器训练算力下达到帕累托最优。
框架针对单卡训练的三大瓶颈给出设计:
- 无 AdaLN 的双流 DiT 骨干,压缩参数量
- SPRINT 稀疏-稠密残差融合,削减 50% 以上注意力 FLOPs
- 连续长宽比归一化 RoPE + 方形平移裁剪,保证静态张量形状,规避变比例分桶导致的 JIT 编译图断裂
- 解决冻结 VAE 成为时延瓶颈的吞吐墙问题
作者称这是学术实验室可负担的基础建模基线,配图显示其以约 20 倍更少的算力逼近 MiniT2I 系列的 DPG 分数。
「多模态」频道最新
- 片方故意把真画师海报做成 AI 风格,骗过众人三小时 — aakashgupta · 2026-11-20
- Reverb-TTS 登上 HF 热榜:端侧零样本克隆语音 — software-mansion · 2026-11-20
- 开发者在 Astrocade 打造低多边形像素风 RPG《Runespell》 — andrey_kurenkov · 2026-11-20
- AI 视频前沿正被中国主导:字节 Seedance 与 MiniMax 领跑 — alexvoica · 2026-11-20
- 80年代赛璐璐动画风提示词分享:复刻复古日漫质感 — azed_ai · 2026-11-20
- AI 生成动画系列首集:少年拉马努金问「0 除以 0」 — visl_creations · 2026-11-20