扩散模型缩放定律：算力最优配比与 LLM 截然不同
burny_tech · x · 2026-08-25
论文《ABRA: Scaling Diffusion Image Training》发现，扩散图像模型的缩放规律虽与 LLM 类似，但算力最优配比截然不同。研究指出，扩散模型每参数约需 200 个图像 token（约为 Chinchilla 推荐值的 10 倍），且相比训练不足，它们更能容忍过度训练。因此在固定算力下，训练更小但数据量更大的模型是更稳妥的选择。
「模型」频道最新
- 阶跃星辰开源 Step 5 Preview：600B 参数、27B 激活、1M 上下文 — Dr_Singularity · 2026-10-15
- 阶跃星辰开源 Step 5 Preview：600B 参数 MoE，1M 上下文冲上 OpenRouter 第二 — Dr_Singularity · 2026-10-15
- Google 官方展示 Gemini 4 Argon 攻坚内部最难工程问题 — CurieuxExplorer · 2026-10-15
- Perplexity 新 embedding 模型：大模型建索引、小模型做查询 — antoine_chaffin · 2026-10-15
- 797GB n-gram 放进 CPU 内存，小模型硬扛多 57% 算力 — PangWeiKoh · 2026-10-15
- 爆料称 Kimi 旗舰 x4 已完成预训练，K3.1 开始内部测试 — lyraxana · 2026-10-15