扩散语言模型改不动自己的错,NeurIPS 论文找到病灶并给出修复
burny_tech · x · 2026-09-27
一篇入选 NeurIPS 2026 的论文(arXiv:2512.15596,《Corrective Diffusion Language Models》)解释了扩散语言模型(DLM)为什么修不了自己的 bug:它们对错误 token 和正确 token 的置信度一样高,即使理论上可以对任意 token 原地重写。
关键发现
- 标准掩码扩散损失只监督 [MASK] 位置,可见 token 即使错了也拿不到梯度,导致模型置信度无法区分对错。
- 于是基于置信度的重掩码会覆盖正确的 token,却把真正的错误留在原地。
解决方案与评测
- 作者提出一个面向纠错的后训练原则:显式监督可见的错误 token,使其获得判别性置信度、支持针对性修正——只需改动训练目标一处。
- 同时发布 Code Revision Benchmark(CRB):在 HumanEval/MBPP 解上注入类型保持的腐蚀(运算符、标识符、字面量),错误数量可控,并用执行验证每条实例确实失败,是首个面向 DLM 原地纠错的可执行基准。
- 实验显示新方法显著优于标准 MDLM,在并行解码不确定性大、需多轮精修的场景增益最明显。
「研究」频道最新
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- ICLR 审稿人未被打动仍提分:因相信论文对社区有价值 — MarkSchmidtUBC · 2026-11-16
- 手改0.2%权重加CPU训练100分钟,英语TTS模型变身18MB梵语语音 — kastnerkyle · 2026-11-16
- 为什么 AI 做化学必须懂手性:对映异构体在生物体内并不等价 — madeofAjala · 2026-11-16
- RSS 2027 投稿开启:两阶段评审 FAQ 澄清负面结果标准 — GeorgiaChal · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16