新论文 PFD 统一解释 SDS 模式坍缩，蒸馏收敛更快方差更低
burny_tech · x · 2026-09-23
arXiv 论文提出 Probability-Flow Distillation（PFD），将分数蒸馏重新框定为参数空间中的分布匹配问题。
- 理论统一：作者把 VSD 的粒子变分推断视角扩展到 SDS 和 SDI，证明 SDS 会坍缩到目标分布的众数（解释 mode collapse），SDI 则收敛到一个收缩版本，并解释了 SDI 为何需要负的 CFG 尺度
- 方法：观察到 DDIM 后验均值等价于 PF-ODE 的单步 Euler 步；用完整反向求解替换该步可使目标成为不动点，进一步丢弃一个 Jacobian 得到 PFD，只需求解前向 PF-ODE
- 效果：在合成目标、CelebA 和 text-to-3D 上实验，达到 VSD 级别的分布匹配，梯度方差更低、收敛更快
「研究」频道最新
- 两个超级智能会先解决彼此合作，而非先被人类对齐？ — repligate · 2026-09-23
- 耶鲁博士生开源顶会论文画图脚本，还能接入 Claude Code 当 Skill — burny_tech · 2026-09-23
- AI 在 ForecastBench 上追平超级预测员，10 月将再战 — burny_tech · 2026-09-23
- 几句 prompt 让 Opus 用 Lean 形式化验证 Agent SDK,产出 16 个修 bug PR — bcherny · 2026-09-23
- 数学家群体才是 AI 数学突破的幕后功臣 — tak3sh8 · 2026-09-23
- McKinsey 研究：AI 药物发现周期缩短 15%-80% — menhguin · 2026-09-23