KAIST 与微软提出 DRLMs：并行草稿修订让扩散模型推理超越自回归

microsoft · hf · 2026-10-21

KAIST 与微软亚洲提出 Draft Refinement Language Models（DRLMs），用单个去噪器提出并行 token 修订并评估候选草稿：训练去噪器从均匀污染的草稿中重建每个 token，同时学会保留与修复；结合已知污染过程修正自 token 证据，单次前向计算 cavity energy 而无需额外打分模型。每轮提出修订、在修订后语境中读完整候选，仅当能量更低时保留。在 Countdown、Sudoku-Extreme、Maze-Hard 等推理任务上超越自回归与离散扩散基线。