实测:低温贪心解码让模型编程更笨,温度 1.0 比 0 高 12.7 个百分点

Brief-Tap-6616 · reddit · 2026-10-30

Reddit 用户用固定采样参数(topp 0.95、topk 20、minp 0)在 LiveCodeBench v6 的 100 道最新难题上,系统测试了 Qwen3.8(IQ4XS-M 量化,llamAmpere 引擎,medium 推理力度)不同温度下的编程表现,结论对本地部署新手很有警示价值:

作者指出许多投机解码基准宣传的夸张速度是用 temp=0 跑出来的,因为贪心解码最利于投机解码;而贪心解码剥夺了 token 选择的随机性,直接降低非记忆类任务的表现。t=0 的成绩约等于用小 40% 的旧版量化才能达到的水平。作者正跟进 0.8/0.9 温度测试(按挂钟时间而非 TPS 评估)。数据集已发布在 HuggingFace。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →