单卡 3.5 天从零训练 210M 文生图模型,作者公开全部配方与权重
IvanMikhnenkov · reddit · 2026-09-10
作者为获得从零训练 flow 模型的一手经验,自行构建并训练了一个 210M 参数的 diffusion transformer:420 万张精选 256² 图像、在 FLUX.2 VAE 上做 rectified flow、用 flan-t5-base 做文本编码(最长 128 token)。仅 VAE 和文本编码器为预训练冻结组件,transformer、配方、数据管线与评测均为原创。整个训练在单张 RTX PRO 6000 上跑了 3.5 天。
按重要性排序的经验:
- 图文匹配的 caption 最关键:网页爬取的 caption 让模型变差,换成带优质 caption 的精选照片后修复。
- 针对 32 通道 latent 做 timestep shift,并从一开始就按长宽比分桶而非方形裁剪。
- 注册 token 使用可学习的 null attention 槽位,结果 null 槽吸收了约 90% 的 cross-attention,出乎意料。
- torch.compile 用于训练(不只推理):提速 2.4×。
- 第一天后训练 loss 就不再有信息量而图像持续变好,因此改用 FID、检测器目标准确率和人类偏好模型来跟踪。
已开源:权重(CC BY-NC)、代码、每项决策的依据、训练仪表盘与 attention playground,并提供浏览器在线试玩。下一步计划用 Flow-GRPO 做 RL 微调,以失败样本网格作为目标列表。
所属事件:单卡3.5天从零训练2.1亿参数文生图DiT并开源配方(2 条相关)→
「多模态」频道最新
- Midjourney SREF 宝库 TischEins 因安全问题下线后全新重构回归 — tisch_eins · 2026-10-26
- MOSS-Image 4 步蒸馏版 HF 下载破 1.65 万,出图质量几无损耗 — _akhaliq · 2026-10-26
- 用 Claude Code 搭视频剪辑流水线,十段 prompt 从粗剪到成片 — TawohAwa · 2026-10-26
- 一句话生成3D世界，再用AI重绘成电影级镜头 — gizakdag · 2026-10-26
- 零实拍造出一整部电影世界：CineMap 导演分镜配 TapNow 成片 — gizakdag · 2026-10-26
- 快手 Kling 对阵字节 Seedance：中国 AI 视频模型竞争观察 — DavidmComfort · 2026-10-26