少思考token可显著提速Agent
Important_Quote_1180 · reddit · 2026-07-11
作者在自己的 agent 工作负载上做了实测：把底层模型换成一个“更省思考 token”的微调版本后，**响应延迟下降了 1.7×**，而不是单纯依赖更快的解码速度。 ### 核心结果 - 在同样的提示词上，平均 wall-clock 从 **30.1s 降到 17.8s**，长推理任务最高可快 **3.2×**。 - 平均思考 token 从 **1,856 降到 675**，而可检查问题的正确率保持一致（两边都是 **10/12**）。 - 工具调用任务里，工具名准确率反而提升了一倍：**0.089 → 0.179**，作者推测是格式纪律迁移到了结构化调用。 ### 代价与观察 - 代价是“模型内部记忆型知识”有所下降，lore recall 从 **0.236 → 0.194**。 - speculative decoding 的接受率高度依赖工作负载：同一模型在贪心代码输出上约 **90%**，在推理文本上约 **66%**，换成该微调后降到 **47%**。 ### 结论 对 agent 来说，先测“模型要想多久、要吐多少 token”比先升级硬件更重要；如果能把思考 token 减半，往往就是免费的加速。