扩散语言模型消融：采样器影响 25 分，噪声只 0.8 分
LucaAmb · x · 2026-10-27
Andrea Miele 团队针对扩散语言模型（Diffusion LM）做了一组控制变量实验：自回归模型无法「回头改错」，而扩散模型理论上可以，但新方法往往同时改动噪声调度和采样器，难以判断哪项起作用。他们在超球面上的测试显示：噪声方案的差异只带来约 0.8 分的变化，采样器则带来约 25 分的巨大差距——采样器才是性能主导因素。团队据此提出 Spherical Brownian Diffusion（球面布朗扩散）方法，并在推文线程中展开了细节说明。
「研究」频道最新
- ICLR 新评审引入 Informativeness 问题，学者称这正是读论文的核心之问 — CSProfKGD · 2026-10-27
- 引文分析:神经科学与 AI 双向桥接真实升温,但狭窄且偏工具化 — EricTopol · 2026-10-27
- JHU+斯坦福开源 Merlin 模型,一次点击自动勾出 CT 中的肿瘤 — MaziyarPanahi · 2026-10-27
- 对 AI 与数学的乐观访谈：研究者称旧世界已一去不返 — Alex__007 · 2026-10-27
- Rob Leclerc 断言 P≠NP 不会被证明，否则 AI 将无所不能 — robleclerc · 2026-10-27
- 博主撰文科普指数时间假设，质疑 OpenAI 宣称其为假的说法 — Gravity13 · 2026-10-27