DiT 训练 TPP 基线表:400 epochs 下 XL 约 194 TPP
JiaweiYang118 · x · 2026-11-12
为了让以 ImageNet 为主的研究者对扩散模型的数据饥渴程度有共同参照,Jiawei Yang 给出基于 ImageNet-1K 和标准 DiT 参数量(B=130M、L=458M、XL=675M,不含冻结 VAE)的典型 TPP 值表:
- 100 epochs(32.8B tokens):DiT-B/L/XL 分别为 252/72/49 TPP
- 200 epochs(65.6B):505/143/97
- 400 epochs(131.2B):约 1,009/286/194
- 800 epochs(262.4B):2,018/573/389
- 1,400 epochs(459.2B):3,532/1,003/680
同一份数据被重复使用上千次,凸显扩散模型训练对数据的反复复用程度。
所属事件:研究者争论 TPP 是否适合衡量扩散模型训练量(3 条相关)→
「Infra」频道最新
- 黄仁勋亲笔签名的 NVIDIA DGX 到货，Meta 工程师晒图 — iaindunning · 2026-11-13
- 微软专利曝光：闲置时让 AI 用你的 GPU 训练并付钱 — markjeffrey · 2026-11-13
- 曝美司法部对英伟达发起反垄断调查 — GaryMarcus · 2026-11-13
- 独家：Alice Huang 旗下公司投资 DeepSeek，承诺供应黑市 Blackwell 芯片 — asusarla · 2026-11-13
- AI 主权争论该降温:买 GPU 放自家地皮不等于真主权 — schwarzjn_ · 2026-11-13
- Berkeley 提出 Population Serving:把推理流量变成免反向传播的训练资源 — LChoshen · 2026-11-13