温度设 0 也不确定:浮点顺序与并行让 LLM 推理无法完全复现
ducha_aiki · x · 2026-10-08
JFPuget 回应「temperature=0 为何仍有非确定性」：硬件和软件是为速度而非确定性优化的。核心在于浮点运算依赖计算顺序——由于有限精度，(a+b)+c 与 a+(b+c) 在计算机上可能结果不同；一旦引入并行化，求和顺序无法保证，确定性随之消失。
AIQuanting 补充：temp 0 只移除了采样随机性，batch 形状、kernel 归约顺序、命中的具体 GPU 都会改变 logits。
所属事件:temperature=0 也不确定：专家详解 LLM 推理非确定性根源(3 条相关)→
「Infra」频道最新
- 30 天追踪一个 24/7 agent：VPS $6、API $22、宕机 2 小时 — YamOk7317 · 2026-10-08
- 贝恩预测 2030 年前新增近 150GW 数据中心，需 5-6.5 万亿美元 — Beth_Kindig · 2026-10-08
- TypeSafeAI 团队四天内在 Modal 上跑出万亿 token 推理量 — josh_wills · 2026-10-08
- llama.cpp 新 PR：MoE 专家留主机内存，GPU 缓存大幅提速 — jacek2023 · 2026-10-08
- 盘 Google 超大核电合约背后的固电力版图:核电商、变压器与燃料电池 — demian_ai · 2026-10-08
- NVIDIA 发布 CUDA 13.4,官方博客详解新特性 — NVIDIAAI · 2026-10-08