Intel 研究员:把 temp=0 当成 LLM 完全确定性的人我不会雇

JFPuget · x · 2026-10-07

Intel 首席研究员 JF Puget 引用一条关于 LLM 随机性的帖子表态:他永远不会雇佣一个认为 temperature=0 就能保证 LLM 推理完全确定性的候选人。

被引用的观点认为 LLM 随机性来自统计模型本身,温度参数控制可选响应范围。Puget 的表态指向一个常被忽略的事实:即使温度设为 0,由于 GPU 并行归约等浮点运算的非确定性,LLM 输出也未必每次相同——这是推理栈层面的工程问题,而非仅由采样参数决定。