NeurIPS 论文 SAGE：结构引导训练让长推理 Lean 通过率提升近 8 倍
机器之心 · wechat · 2026-10-07
弗吉尼亚理工、威斯康星麦迪逊和达特茅斯的团队在 NeurIPS 2026 提出 SAGE，针对长链推理「每步看似合理、终点仍然失效」的问题。论文先用符号闭包分析（SCA）解释两类偏差：探索偏差——可行前缀占比随深度连乘迅速缩小，终点奖励下随机采到有效轨迹极难；累积偏差——终点奖励加 KL 正则时，早期决策缺少直接纠偏，训练难以大幅偏离参考策略。
SAGE 把诊断变成训练时的结构引导：代数稀疏化用「残差」给候选推理步打软兼容分，提高相关分支的采样率；双曲结构引导把状态与目标映射到双曲空间，用距离给前缀提供逐步反馈，不必等终点奖励。训练后推理时无需额外计算。
评测覆盖 12 个基准、7 个模型家族，对比 SFT、GRPO、EMPO、GRPO-PRM：Qwen3.5-35B 在封闭数学上平均 64.86%，高于最强基线 2.49 个百分点；在 AC 长程符号任务上，各骨干的 Lean 验证通过率提升 13.2–20.8 个百分点，Qwen3 上接近基础模型的 8 倍；自由文本推理（MMLU-Pro、BBH-H、ARC-C）也有提升，GPQA 略逊于 EMPO。
「研究」频道最新
- Steering vectors 研究报告:稀疏传播、电路相似性与注意力效应分解 — sarahwiegreffe · 2026-10-25
- EMNLP 论文：steering 向量只需 8-11% 计算图即可生效，可稀疏化 85-96% — sarahwiegreffe · 2026-10-25
- EMNLP 论文定位多智能体深度研究系统的忠实性与引用错误源头 — EliasEskin · 2026-10-25
- 递归语言模型 Jev 实测：百万 token 成本减半、速度快 6 倍 — dbreunig · 2026-10-25
- LeCun 等推出 JEPA 新变体 LeHami,用 1830 年代哈密顿力学优化世界模型 — TheTuringPost · 2026-10-25
- EleutherAI 携 6 篇论文参展 EMNLP 2026，录取率 100% — BlancheMinerva · 2026-10-25