频率感知 Remasking 提升扩散语言模型：MATH-500 最高涨 7.33 个百分点
ucriverside · hf · 2026-11-12
- UCR 与印第安纳大学团队将扩散语言模型（DLM）的测试时扩展形式化为推理算力与解码策略的自适应分配。
- 方法：两阶段策略——快速基础采样器先解简单题，再对难题应用频率感知 remasking；追踪每个 token 预测在去噪步间的变化频率，优先提交高频变化的 token，促使样本探索替代推理路径而非坍缩到模型偏好轨迹。
- 结果：在 LLaDA-8B-Instruct 与 Dream-7B-Instruct 上，MATH-500 绝对准确率最高提升 3.73（LLaDA）/ 7.33（Dream）个百分点，HumanEval 覆盖率最高提升 11.39 / 10.98 个百分点；对基础策略 100 次采样仍无解的题目，可再解出 3.75%–18.75%。
「研究」频道最新
- 细胞逆龄至 20 岁以下实验刷屏，博主科普「长寿逃逸速度」 — Dr_Singularity · 2026-11-12
- ICLR 2027 已有约 50 篇论文撞名 PRISM，学术命名趋同引热议 — deliprao · 2026-11-12
- 不用 LLM 达 37%:1 亿参数循环 Transformer 在 ARC-AGI-2 Kaggle 刷新纪录 — rbhar90 · 2026-11-12
- Chain Lens 团队还试了 Loom Lens:多行并行采样,暂未显著超越基线 — voooooogel · 2026-11-12
- 把 MTP 头当语言模型采样：vgel 团队试出 loom lens 树状读出 — voooooogel · 2026-11-12
- 用 chain lens 逐个解释 Qwen 27B 全部 110 万个 MLP 神经元，仅花 5 美元 — voooooogel · 2026-11-12