伯克利等提出信息论缩放律：可预测扩散模型的记忆化与 FID
LucaAmb · x · 2026-10-29
一项新论文（与 Yi Ma 等合作）为扩散模型引入信息论视角：通过量化模型从训练数据中学到多少信息，可以预测——
- 记忆化（memorization）何时开始：当模型对训练集的信息依赖超过阈值，生成样本开始复现训练数据；
- 生成质量如何随训练缩放：FID 等指标与信息量的关系呈可预测的 scaling law。
核心问题是：能否通过测量生成样本对训练集的依赖程度，提前判断模型是在泛化还是记忆化？论文给出了肯定答案与预测性缩放律，为理解与诊断扩散模型提供了新工具。
「模型」频道最新
- DeepMind 又先官宣后开放,用户吐槽等 Gemini Xenon — adonis_singh · 2026-10-29
- Alphabet Q3 财报电话会要点：新前沿模型 Gemini Carbon 与 AI Mode 广告扩张 — lilyraynyc · 2026-10-29
- gpt-6.1-terra 连跑 4 小时浏览器操作,每秒约一次动作 — prd_008 · 2026-10-29
- AA Index 恰在 Gemini Carbon 发布前改版,网友质疑新榜利好新模型 — stablequan · 2026-10-29
- Gemini 4 Carbon 登顶文本榜,Agent 榜第二且成本仅为 Opus 28% — prajdabre · 2026-10-29
- 谷歌模型按元素表起名遭吐槽:碳之后还藏着个钡? — andrew_n_carr · 2026-10-29