PUMA 用早停框架平均削减 26.2% 推理 token
jiqizhixin · x · 2026-07-26
PUMA 通过检测“推理已收敛”来提前停机
UIC、Google 等研究者提出 PUMA，这是一个可插拔的推理框架：当模型的中间推理已经开始重复、继续生成只是浪费 token 时，它会尝试提前退出，同时尽量不损失准确率和推理连贯性。
- 核心由两部分组成：冗余检测器 + 答案验证。
- 冗余检测器会比较最近步骤的表示，识别重复或近似重复的推理轨迹。
- 随后系统会基于截断后的前缀生成一个试答案，再检查其置信度和一致性，决定是否停止。
- 如果验证失败，就继续生成；对于后期持续重复的情况，还提供了 Loop Breaker 作为兜底退出机制。
- 作者报告，在 5 个推理模型 和 5 个基准 上，平均可减少 26.2% 的 token，同时保持准确率和 CoT 质量。
论文题目：Stop When Reasoning Converges: Semantic-Preserving Early Exit for Reasoning Models
「研究」频道最新
- 新论文:数学数据放训练前段还是末段,取决于学习率调度 — alifcoder · 2026-10-27
- 医疗评测：Kimi K3 平 GPT-6，但疑难病例开源落后 17 个百分点 — keunwoochoi · 2026-10-27
- 数据课程与学习率调度应协同设计：数学数据放置策略随 LR 翻转 — CatAstro_Piyush · 2026-10-27
- 健康专项榜单洗牌：综合第 9 的开源模型跃居 Health Index 第一 — keunwoochoi · 2026-10-27
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- Goodfire 投入 1000 万美元启动 AI 版「人类基因组计划」破解可解释性 — CatAstro_Piyush · 2026-10-27