少思考token可显著提速Agent
Important_Quote_1180 · reddit · 2026-07-11
作者在自己的 agent 工作负载上做了实测：把底层模型换成一个“更省思考 token”的微调版本后，响应延迟下降了 1.7×，而不是单纯依赖更快的解码速度。
核心结果
- 在同样的提示词上，平均 wall-clock 从 30.1s 降到 17.8s，长推理任务最高可快 3.2×。
- 平均思考 token 从 1,856 降到 675，而可检查问题的正确率保持一致（两边都是 10/12）。
- 工具调用任务里，工具名准确率反而提升了一倍：0.089 → 0.179，作者推测是格式纪律迁移到了结构化调用。
代价与观察
- 代价是“模型内部记忆型知识”有所下降，lore recall 从 0.236 → 0.194。
- speculative decoding 的接受率高度依赖工作负载：同一模型在贪心代码输出上约 90%，在推理文本上约 66%，换成该微调后降到 47%。
结论
对 agent 来说，先测“模型要想多久、要吐多少 token”比先升级硬件更重要；如果能把思考 token 减半，往往就是免费的加速。
「编程与Agent」频道最新
- 受 OpenAI 万机群启发，开发者开源 agent 众包解题平台 — Benjaminsen · 2026-09-11
- 开源 Mac 应用 Lucid：只在跑 AI 时阻止笔记本休眠 — Pitiful_Hedgehog_600 · 2026-09-11
- 20kb 函数匹配达成,banteg 召集 AI 逆向 Snail Mail 剩余 20 个挑战 — banteg · 2026-09-11
- Alex Townsend 汇编 200 个数值线性代数开放问题，供人类与 AI 攻关 — IgorCarron · 2026-09-11
- Kimi K2.8 Preview 上线：性能接近 K3、1M 上下文全档开放 — teortaxesTex · 2026-09-11
- 有人想给软件工程任务建「形态分类」数据库,好按任务选模型 — StewartalsopIII · 2026-09-11