本地跑模型实测:关掉激进加速反而任务完成更快,慢 token 更聪明

AssiduousLayabout · reddit · 2026-11-05

作者用 5090 + 64GB 内存本地跑编码模型(Qwen 3.8 27B、Flash-Next)时发现:追求 tok/sec 的激进量化加实验性加速(IQ3XXS)虽然出 token 飞快,但 agent 干实际任务时不停过度思考、自我怀疑,效率很低。换成 IQ3S 量化并关闭实验优化后,token 速度虽降,但输出更有意义、空转更少,实际任务反而更快完成,上下文消耗和压缩频率也降低。作者还在对比 DeepSeek 4.1-Flash 的 IQ1 Coder 量化版:tok/sec 慢得多,但真正关心的「每小时成功任务数」尚无结论。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →