温度设 0 也非确定输出:batch 形状与 kernel 归约顺序都影响 logits
JFPuget · x · 2026-10-07
博主 JFPuget 与 AIQuanting 的讨论指出:temperature=0 只是移除了采样环节,但推理过程中其他导致非确定性的因素依然存在。
具体来说,batch 的形状、kernel 的归约(reduction)顺序、以及任务落到哪块 GPU,都会改变最终的 logits,导致输出仍有波动。也就是说,「温度 0 = 可复现」是一个常见误解,浮点并行计算本身的非确定性无法靠调参消除。
「Infra」频道最新
- 谷歌发布 SAM：让分散各机的 AI Agent 互发现、互调用工具 — thisguyknowsai · 2026-10-07
- 25GB 内存跑 744B 模型:Colibri 把专家权重当 JIT 按需加载 — thisdudelikesAI · 2026-10-07
- Virginia Tech 新注意力机制让循环 LLM 单卡吞吐提升至 8.8 倍 — rohanpaul_ai · 2026-10-07
- Java Vector API 实战：JDK 16 起可直接写 SIMD 榨干单核性能 — lemire · 2026-10-07
- Hugging Face 实测:Xet 增量上传让数据集同步省 90% 流量 — Hugging Face · 2026-10-07
- 开源 LLM 20 分钟搞定 Tuya 固件逆向改写,绕过 Claude 安全拦截 — ngxson · 2026-10-07