整数运算实现跨设备比特级一致的 LLM 推理，A100 到 M5 Max 全验证

CatAstro_Piyush · x · 2026-11-13

nathanrs 在 SpaceX AI 黑客松上展示了让 LLM 推理完全确定性的方法：浮点加法不满足结合律 (a+b)+c ≠ a+(b+c)，累加顺序随硬件与 kernel 变化，导致同一 prompt 即使 temperature=0 也可能输出不同结果；而整数加法满足结合律，因此把包括 softmax 和 norm 在内的所有运算都用整数实现，即可跨 GPU/CPU 得到比特级一致的输出。作者用 Qwen3-0.6B 在 A100、H100、Apple M5 Max、AMD EPYC、Intel Xeon 五种设备上完成了 512 token 生成，哈希后的 logits 完全相同，且不损失质量与速度。附 GitHub 仓库与博客。