SAGE: Mitigating Long-Horizon Reasoning Biases via Topological Guidance
Xinyue Zeng, Jiawei Zhang, Yujun Yan, Dawei Zhou
NeurIPS 2026
cs.AI
2026-09-25
SAGE把代数稀疏化与双曲几何做成训练时结构先验，注入GRPO式后训练；12个基准、7个模型族上超过对照，Qwen3.5-35B数学平均64.86%，Andrews-Curtis上Qwen3相对基座近8倍。
只看最终对错的后训练，在长程、稀疏奖励下会塌。GRPO 这类方法把一条轨迹压成终点 0/1，中间几乎没有可用信号。
论文把塌的原因拆成两个耦合偏差。探索偏差来自搜索体积：步数一长，局部合法但接不到成功的枝把采样预算吃光，策略学会的是好抽的轨迹，不是还能延伸到成功的轨迹。复合偏差来自反馈延迟：早期一个看起来合理的偏航，要到很多步之后才暴露；KL 正则再把更新钉在参考策略上。Theorem 3.5 把这件事写死了：成功轨迹在参考策略下概率为 p 时，全支撑 KL 优化器与参考策略的全变差距离不超过 (e^{Rmax/λ}-1)p。p 很小，策略几乎挪不动。
跑例是 Andrews-Curtis 平凡化。给定平凡群的一个平衡展示，用合法变换推到平凡展示。很多步都合法，只有少数能把关系子真正化简。
Symbolic Closure Analysis（SCA）把可行性定义成局部可接受性：每一步变换都合规，这条前缀才进可行集 F，F 对前缀封闭。它不发金标步骤，只提供结构代理。
SAGE（Structural Admissibility-Guided Exploration）把 SCA 的两条要求做成训练时势函数，塞进组相对策略更新。推理时直接用训好的策略，不再打分、不再搜。
代数稀疏化针对探索偏差。当前未解残差 rt 投影到候选算子的子空间 Sj，得分是投影能量占残差能量的比例。分高说明这个算子在啃当前还没消掉的结构。Andrews-Curtis 上残差来自生成元个数、关系子长度和未消项；数学题上是未消元变量、方程结构和答案格式；自由推理上是提示里还没覆盖的语义约束。算子子空间由训练 rollout 里同类步骤残差的主成分撑起来。
双曲结构引导针对复合偏差。状态和目标锚点嵌进 Poincaré 球，用负曲率距离当逐步的稠密信号。树状层级在双曲空间里伸展更开，早期偏航会在距离上立刻显出来。Andrews-Curtis 的锚点是平凡展示；数学和问答的锚点来自题目格式与训练 rollout，不用测试标签、不用金标思路。
采样只对旧策略提出的有限候选步骤打分，概率正比于长度归一化 logprob 加上 λ 倍势函数。奖励是终点奖励加轨迹上势函数的均值，再做组内相对优势。一组 rollout 终点全是 0，只要势函数组内有方差，优势仍非零。结构偏好被写进策略，推理零额外成本。
数学七项（MATH、Minerva、Olympiad、AIME24、AMC23、GSM8K、Putnam），Qwen3.5 三个规模：
| 规模 | 基座平均 | 最强对照 | SAGE |
| 2B | 27.24 | EMPO 40.28 | 42.11 |
| 9B | 29.01 | SFT 44.93 | 47.95 |
| 35B | 45.21 | EMPO 62.37 | 64.86 |
相对最强对照分别高 1.83、3.02、2.49 点。35B 的 64.86% 超过 Llama-3.3-70B-Instruct 的 38.48%。Putnam 从基座 11.36 到 22.62。AIME24 上 EMPO 62.31、SAGE 62.04，这一项没赢。
自由推理 35B：MMLU-Pro 59.33（GRPO 57.66），BBH-H 69.07（EMPO 65.02），ARC-C 66.41（EMPO 62.97）。9B 上这三项从 37.91/44.04/39.73 到 39.99/45.31/42.04。
Andrews-Curtis 上 AC Validity 相对基座高 19.2 到 26.0 点；Lean 验证每套架构都高 13 点以上，Qwen3 相对基座近 8 倍。Qwen3.5-35B 上 SAGE 的 Lean 是 23.69，GRPO 14.64，接了过程奖励模型的 GRPO 也只有 17.36。拆掉代数项或双曲项，Validity、Path、Lean 一起掉。Olympiad 上 Pass@64 大约 87%，GRPO 大约 84%。
不想养一步一标的过程奖励模型、又要扛长程稀疏奖励时，这篇给的是训练时结构先验、推理零开销。Andrews-Curtis 这种开放符号任务上的倍数差，说明几何先验比再加一层稠密 shaping 更对症。数学和问答上的增益是两三个点，属于渐进改进。落地成本在训练侧：候选步骤打分、残差探针、双曲距离，都要任务接口或学出来的代理。
作者写明：符号域里局部可接受性可以精确定义，数学和自由推理里残差、锚点、算子子空间都是学出来的近似，理论浓缩保证只在符号设定上直接成立。训练更贵。摘要写 12 个基准、7 个模型族，贡献段写成 13 和 8，对不齐。AIME24 上没过 EMPO。自由推理的结构有多「结构」，取决于探针伪标签质量，论文没有给出探针与真实可接受性的对齐数字。近 8 倍是相对未后训练基座、画在 Figure 3 上，正文没有列出基座 Lean 的绝对百分比。