数据受限时扩散模型胜过自回归,arXiv 论文给出新 scaling law
mgostIH · x · 2026-09-11
mgostIH 在讨论中指出扩散语言模型数据效率更高，并引用 CMU 团队论文《Diffusion Beats Autoregressive in Data-Constrained Settings》(arXiv:2507.15857)。论文要点：
- 核心发现：在算力充足但数据稀缺、需对有限数据重复训练的场景下，masked diffusion 模型显著优于自回归(AR)模型，验证损失更低、下游性能更好。
- 新 scaling law：作者推导出扩散模型的新 scaling 规律，并给出临界算力阈值的闭式表达式，超过该阈值后扩散开始胜过 AR。
- 机理解释：扩散模型的随机掩码目标隐式地在丰富的 token 顺序分布上训练，相当于隐式数据增强，而 AR 固定的从左到右分解缺乏这种性质。
- 结论：当瓶颈在数据而非算力时，扩散范式是 AR 的有力替代。代码已开源。
「研究」频道最新
- Mandelbrot 集拼图结构在 Lean 中完成形式化计算,实拍级图表曝光 — geoffreyirving · 2026-10-28
- Geoffrey Irving 对 CSETH 突破给出 >80% 概率预测 — geoffreyirving · 2026-10-28
- 抗衰研究数据荒：Norn 募资 1500 万美元为 AI 备好训练数据 — juanbenet · 2026-10-28
- 研究员自曝置信度乌龙：把 SETH 当 CSETH，重估 P vs NP 赔率 — geoffreyirving · 2026-10-28
- Google 论文指出 softmax 标准实现藏两个数值 bug，引发形式验证讨论 — srush_nlp · 2026-10-28
- AI 提出的研究题 45/135 获专家认可有趣，覆盖数学物理等 — StanfordAILab · 2026-10-28