「按 rank 推进 RNG 流就行」?Philox 对硬件细节极度敏感

ezyang · x · 2026-11-17

Edward Yang 继续拆解分布式 RNG 难题:最初有人向他提出这个问题时,他以为「只需让每个 rank 恰当地推进 RNG 流即可」。结果发现行不通——Philox 随机数到各张量的精确分配对具体硬件细节极其敏感,稍异即变,这正是该问题多年悬而未决的核心原因。

该线程是 PyTorch 无状态 RNG API 落地背景的技术复盘。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →