黑客松实现LLM跨设备完全确定性推理，无损质量与速度

teortaxesTex · x · 2026-08-12

在SpaceX AI黑客松中，开发者nathanrs展示了如何让LLM推理在跨设备时完全确定性，且不损失质量或速度。他们使用Qwen3-0.6B模型，在A100、H100、Apple M5 Max、AMD EPYC和Intel Xeon等不同GPU和CPU上，生成了512 token的相同哈希logits。

核心问题在于浮点加法不满足结合律，导致累加顺序随硬件和内核变化，即使温度设为0也可能产生不同输出。整数运算满足结合律，但量化后非线性操作（如softmax、归一化、SiLU）会反量化回浮点再重新量化，引入不确定性。该方案通过修改这些操作，使其在整数域中执行，从而实现了完全确定性。