temperature 设 0 也不稳定:千次生成竟出 80 种不同输出
lmoroney · x · 2026-10-08
Laurence Moroney 解答一个常见疑问:把 temperature 设为 0 能否让 LLM 每次给出相同答案?实践中通常不能。
- temperature=0 意味着贪心解码,模型总选概率最高的 token,但输出漂移主要来自服务端
- 浮点加法结果与求和顺序有关,而许多 GPU kernel 会随 batch size 改变求和方式;batch size 又取决于当时服务器上有多少其他用户
- Thinking Machines Lab 在 2025 年实测:对 Qwen3-235B 用同一 prompt 做 1,000 次 temperature-0 生成,得到 80 种不同输出(前 102 个 token 完全一致);把 vLLM 换成 batch-invariant kernel 后 1,000 次输出完全一致
- 结论:测试 LLM 功能时,应用层要能容忍微小的输出漂移
所属事件:temperature 设为 0 也难保证 LLM 输出完全一致(4 条相关)→
「研究」频道最新
- 用流体造计算机：作者动手模拟 OpenAI 论文中的 Navier–Stokes 图灵机 — kfountou · 2026-10-08
- D-OPCD 把 Agent 经验蒸馏进扩散模型权重，四基准平均分升至 65.09 — Wenxuan Wang · 2026-10-08
- 四叉树视觉分词器 QuadTok：省 10% token，ImageNet 达 2.08 gFID — Yucheng Mao · 2026-10-08
- PhysEvo 让冻结模型物理递归自我改进：RoboDojo 42 任务成功率 62% — Wenqing Tian · 2026-10-08
- RL 视角解释 On-policy 蒸馏崩溃：隐性奖励被 hack 导致冗长重复输出 — Han Cui · 2026-10-08
- SketchSSM 论文:线性注意力解码提速 7.3 倍,状态流量降 10 倍 — sehoonkim418 · 2026-10-08