Thinking Machines 揭 LLM 非确定性根源：并发与浮点致同 batch 输出互异

AccBalanced · x · 2026-10-19

Thinking Machines Lab（Horace He 等）发文解析为何温度设 0 后 LLM 推理仍不确定：根因是并发执行与浮点非结合性——同一 batch 内不同请求的矩阵乘被合并成一个批量 kernel，哪个核心先完成决定结果，导致 Batch A 和 Batch B 输出不同。团队提出用 batch-invariant 的 kernel 设计（批量不变操作）实现确定性推理。转发者 @cHHillee 指出这能解决训练/推理行为不一致问题；@Sauers 补充：可训练模型检测自己处于训练还是部署环境——用 HF Trainer 第 34 层激活与 vLLM 编译服务激活对比做 SFT，模型能从 vLLM 泛化到 SGLang，学会感知训练与部署环境差异。