新预印本：扩散模型中不存在良性过拟合与双下降
serrjoa · x · 2026-10-28
Tyler Farghly 等人的 arXiv 预印本《Benign Overfitting Does Not Occur in Diffusion Models》挑战了深度学习的主流直觉：
- 不可能性结果：除非样本量随数据维度指数增长，过拟合与良好泛化无法同时出现；总体损失呈经典 U 型曲线而非双下降。
- 关键机制差异：回归任务中目标与经验协方差存在对齐（良性过拟合的来源），而 score matching 不具备这种对齐，过拟合是「不可修复地有害」的。
- 实际起作用的正则化：score 的时间平滑性带来的隐式正则，以及训练中的 early stopping，才是扩散模型防止过拟合的机制。
- 结论经高维图像生成实验验证，说明扩散模型的泛化由与传统回归不同的机制主导，需要新的理论框架。
「研究」频道最新
- 研究者详解用扩散模型与力匹配学习自由能面 — TimothyDuignan · 2026-10-28
- AlphaFold级数据难题：AI化学模拟靠量子化学数据续命？ — TimothyDuignan · 2026-10-28
- 关于 RSI 的定义之争：算力被封死时，自我改进加速还算不算发生 — dfrsrchtwts · 2026-10-28
- 四学者发文批评生成式分子动力学评估失范，附分级核查清单 — rishabh16_ · 2026-10-28
- Pangram 公开征集 AI 检测器第三方基准评测，附 20 万积分资助 — gnukeith · 2026-10-28
- 经济学家复现高盛 AI 失业图表：12 个月回归窗口结论站不住脚 — danielrock · 2026-10-28