温度设 0 也难保确定：LLM 推理非确定性根源被揭秘

Thinking Machines Lab 的 Horace He 发表博客《Defeating Nondeterminism in LLM Inference》，解释为何即使 temperature=0，LLM 推理输出仍不确定。博主 JFPuget 与 AIQuanting 的讨论指出，temperature=0 只是移除了采样环节，而 batch 形状与 kernel 归约顺序等因素仍会影响 logits，导致非确定性输出，确定性需从推理全过程治理。

2026-10-07 ~ 2026-10-07 · 2 条相关

• 温度设 0 也非确定输出:batch 形状与 kernel 归约顺序都影响 logits — JFPuget · 2026-10-07
• Thinking Machines 揭秘：为何 temperature=0 时 LLM 推理仍不确定 — JFPuget · 2026-10-07