研究：训练投机解码拒绝关键推理token，可提升长程Agent准确率

SubconsciousDev · hf · 2026-11-05

Subconscious Systems 联合 MIT、普林斯顿、东北大学的论文《Adversarial Speculative Reasoning Improves Long Horizon Agents》：投机解码通常被视为纯系统加速手段，但在长程 agent 推理中并非如此——数值噪声会在验证窗口内累积，draft 接受率的变化会在 30 步之后改变模型输出分布，进而随机方向地影响长程 agent 的推理准确率。

作者提出：虽然无法改变目标模型验证的总体 token 分布，但可以训练 draft 模型在 agent 轨迹的关键决策点「被拒绝」，让验证恰好在这些点上重启、由目标模型以最高精度重新生成关键推理，从而降低数值噪声、在不改动目标模型的情况下提升长程任务的准确率。