扩散模型信息论缩放定律:可预测记忆化何时开始与 FID 走向
LucaAmb · x · 2026-10-29
Luca Ambrogioni 与 Druv Pai、Yi Ma 合作发布关于扩散模型信息论缩放定律的工作:从有限样本的去噪分布学习出发,对「生成 vs 记忆化」给出严格的信息论刻画。核心思路是量化模型从数据中实际学到了多少信息,据此预测:
- 记忆化(memorization)何时开始出现
- 生成质量(FID)如何随训练规模缩放
合作者 Yi Ma 表示,最大的意外是这个理论上严谨的信息度量在计算上出乎意料地高效可行,尽管表面上看计算代价令人望而生畏。
所属事件:伯克利等提出扩散模型信息论缩放律，可预测记忆化与 FID(3 条相关)→
「研究」频道最新
- NVIDIA 发布 Foundation4D：视频先验驱动的无激光雷达 4D 感知框架 — lealtaixe · 2026-10-29
- Foundation4D 全程 3D 检测与跟踪：长时序上下文免训练登顶 NuScenes — lealtaixe · 2026-10-29
- Foundation4D 语义占据达 18.1 mIoU，微调后居 OpenOccupancy 之首 — lealtaixe · 2026-10-29
- Foundation4D 从多相机视频恢复度量深度、外参与自车运动 — lealtaixe · 2026-10-29
- MAIN 2026 报告：从突触可塑性借鉴稳健学习，破解神经网络漂移难题 — karimjerbineuro · 2026-10-29
- 斯坦福 After42：135 个 AI 提出的研究问题，45 个获专家认可 — aigclink · 2026-10-29