单卡3.5天从零训练2.1亿参数文生图DiT，三项实测发现
IvanMikhnenkov · reddit · 2026-09-11
作者在单张 RTX PRO 6000 上用 3.5 天、420 万张 256² 图像从零训练了一个 2.1 亿参数的 cross-attention DiT 文生图模型（rectified flow + logit-normal 时间步 + shift 2.8），目的是吃透完整配方。三个少见被明说的实测结论：
- 学习到的 null attention slot 成了注意力汇聚点：2 个学习的 K/V 槽在中层拿到约 90% 的 cross-attention 权重，EOS token 降到约 4%，register 向量范数涨到图像 token 的 4–13 倍。
- flow-matching loss 是健康信号而非质量信号：loss 仅从 0.805 降到 0.754，但 FID 33.7→27.0、FD-DINOv2 570→218、物体准确率 65%→90%。
- 训练期 timestep shift 比翻倍步数更值钱：20 步 + shift 2.8 达 FID 27.0，50 步才 26.6，不加 shift 则退化。
训练细节：896×16 blocks、2D RoPE、QK-norm、adaLN-single，flan-t5-base 冻结，batch 256 训 40 万步，torch.compile 带来 2.4× 提速。代码、权重、demo 均已开源，下一步计划在该基座上跑 Flow-GRPO。
所属事件:单卡3.5天从零训练2.1亿参数文生图DiT并开源配方(2 条相关)→
「多模态」频道最新
- Magnific 预告 10 月 28 日上线新功能：「We're making it move」 — cuenca · 2026-10-27
- Midjourney --sref 实测：美式复古风 Batman 插画三连 — gizakdag · 2026-10-27
- AI视频既非电影也非动画，创作者称它最擅长呈现梦境与潜意识 — Kyrannio · 2026-10-27
- 把儿子 31 年前的童言写成歌再喂给 SUNO：一首「大象饮料」儿童合唱 — NathanpmYoung · 2026-10-27
- RTX 3060 本地产 AI MV 播破 20 万:900 张图留 64 张,3 秒切片防崩脸 — Hwang0500 · 2026-10-27
- Firefly 视频编辑器实测：一句话 Quick Cut 将 32 秒素材剪成 20 秒 — LudovicCreator · 2026-10-26