马毅等发布扩散模型信息论缩放定律论文,附完整代码

YiMaTweets · x · 2026-10-30

Yi Ma(马毅)与 Druv Pai、Dejan Stancevic、Luca Ambrogioni 合作的新论文《Information-Theoretic Scaling Laws for Generative Diffusion Training》已在 arXiv 发布,论文与代码均公开。研究用信息论视角分析扩散模型训练的缩放行为,提出可计算的「模型信息」(model information)度量,衡量训练出的模型对特定训练数据集的依赖程度(如记忆化与样本质量)。核心发现是存在两个性质不同的缩放区间:一是从纯记忆化到不完美泛化的非线性「模型信息」区间;二是模型信息线性缩放、泛化与样本质量持续改善的「泛化」区间。作者据此提出信息论上合理的缩放定律,推导出记忆化与样本质量的缩放规律,并证明其外推能力良好,可延伸到拟合域之外。