temperature 0 为何不确定：Qwen3-235B 跑千次出 80 种答案
JensHonack · x · 2026-10-27
Avi Chawla 的技术长文解释了为何 LLM 推理在 temperature 0 下仍不确定——这是常见的技术面试题。
核心论点：
- temperature 0 时推理引擎采用贪心解码，每步选最高 logit 的 token，这一步本身是确定性的
- 不确定性来自 logit 的计算过程：Thinking Machines 实测向 Qwen3-235B 发送同一 prompt 1000 次，得到 80 种不同输出
- 原因之一是 GPU 浮点精度有限（如 fp16 只保留 11 位有效位），加法顺序不同会导致结果轻微差异，进而让 argmax 选中不同 token
同帖还引用了作者关于 KV、Prefix、Prompt、Semantic 四层 LLM 缓存的科普文章，讲解输入 token 在何处被重复计算及应对方案。
「模型」频道最新
- 3 张二手 V100 跑 Qwen 近 400 tokens/秒 — jfinkpottery · 2026-10-27
- Muse Spark 1.3 安全报告:CoT 可控性评估首次对标四大厂商 — tomekkorbak · 2026-10-27
- 非英语用户多付「分词器税」：同样任务 AI 报价更贵 — postalex · 2026-10-27
- Meta Muse Spark 1.3 系统卡采用图宾根 4 项评测基准 — maksym_andr · 2026-10-27
- ChatGPT Pro 500 套餐曝光：月费 445 英镑，周额度已用 91% — yoimnotkesku · 2026-10-27
- 学者争论：现行 LLM 远超 GPT-4，但期刊审稿延迟挡住了新模型 — DeryaTR_ · 2026-10-27