文本生成图像缩放定律研究：扩散模型最优参数比

baaadas · x · 2026-08-20

这项研究（Abra）对文本到图像的扩散模型进行了系统的缩放定律研究。训练了跨越三个数量级计算量（$10^{19}$ 到 $10^{22}$ FLOPs）的流匹配 Transformer。研究发现，扩散模型的缩放行为与语言模型一样可预测，但实现计算最优需要更多的数据：计算最优性出现在每个参数约 200 个图像 token 处，这是 LLM Chinchilla 最优处方的 10 倍。此外，扩散模型对过度训练具有鲁棒性，实践者应倾向于更多数据而非更大的模型。这种可预测性还延伸到了生成质量指标、最佳 CFG 设置和表示质量等方面。