temperature=0 并不等于输出可复现：GPU 浮点与批处理会引入随机性

cneuralnetwork · x · 2026-10-29

「temperature=0 意味着 LLM 每次输出完全相同」是个常见误解。原帖解释：temperature=0 只是让解码变成贪心选最高概率 token，但推理本身并非确定性的——GPU 浮点运算不保证严格一致，批处理与并行执行会轻微改变数值结果；当候选 token 概率接近时，极小的数值差异就足以翻转下一个 token，而一旦某个 token 改变，整段回复都可能走向完全不同的方向。结论：确定性解码 ≠ 确定性推理。