社区讨论 Token 预算并非限制模型推理的好方案

社区围绕如何限制模型推理展开讨论，普遍认为 Token 预算是建模推理限制的糟糕方式，因为模型缺乏剩余预算的概念。理想方案应像 Entropix 那样在推理中主动引导，或借助截断思路恢复、通过摘要进行概念压缩等启发式方法。还有讨论推测训练中截断推理链的意图：让模型见过短推理并学会基于中途截断的推理继续作答，而非在推理中途输出 /think 标记。

2026-08-23 ~ 2026-08-23 · 3 条相关