两家前沿实验室悄悄砍掉 temperature 旋钮,生产级确定性输出受冲击

SmartEnoughToFail · reddit · 2026-10-23

Reddit 用户发现两大前沿实验室近期取消了采样控制:

官方口径是推理模型自带可变性控制,旧旋钮不再适用。但过去两年「要确定性输出就把温度调低」是抽取、分类、结构化输出等大量生产管线的基础假设,现在这些设置要么变成 no-op,要么直接报错,而且只有输出漂移时你才会发现。

作者指出这是闭源 API 的结构性问题:本地部署的 Llama/Qwen 里采样器和 seed 完全自控,不会无通知地改变语义。他也提出反方观点——如果推理模型在默认设置下就比旧模型 temp 0 更稳定,那旋钮失效反而是升级;但没人真正测量过。

作者正在做实验:同一批 200 个抽取输入各跑 20 次,对比字节级一致率,本地 Qwen temp 0 接近完美,闭源模型默认设置结果还在收集中;闭源侧通过网关路由跑同一 eval 集 diff 输出。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →