扩散模型信息论 scaling 律:用互信息预测模型何时开始记忆训练数据
davidad · x · 2026-10-29
Luca Ambrogioni 与 Druv Pai、Yi Ma 合作的工作，对基于去噪的分布学习从有限样本中「生成 vs 记忆」给出严格的信息论刻画。
- 通过量化模型从数据中学到了多少信息，可以预测记忆化何时开始，以及生成质量（FID）如何随训练 scaling
- 最大的惊喜是：理论上严格的互信息度量实际计算起来出奇地高效，尽管看起来计算代价吓人
该结果为扩散模型的理解与训练监控提供了新的理论工具。
所属事件:伯克利等提出扩散模型信息论缩放律，可预测记忆化与 FID(3 条相关)→
「研究」频道最新
- 在 Qwen3.5-4B 权重里实现完整 RISC-V CPU，算术准确率 48.6% 飙至 100% — Dan_Jeffries1 · 2026-10-29
- 人设提示词让模型在 SIMNER 基准一律锁 35%,换模型也没用 — amplifiedamp · 2026-10-29
- 滑铁卢 Menezes 发布格密码入门长文:覆盖 Kyber、Dilithium 等四大后量子方案 — matthew_d_green · 2026-10-29
- Google DeepMind 与新加坡国立大学医院启动 AI 协作临床医生测试 — alan_karthi · 2026-10-29
- NPCI 发布 TauIndianBankBench：银行对话 Agent 新基准 — NPCI · 2026-10-29
- AI 智能体写出 4300 万行代码:Axiom 用智能体形式化验证 CFSG 定理 — SucceededMind · 2026-10-29