张量并行下模型初始化不一致,Philox RNG 成难题
PyTorch 核心开发者 Edward Yang 以张量并行为例拆解分布式 RNG 难题:同一模型在 TP=1 时权重初始化只需一次 RNG kernel 调用,TP=2 时权重被切分到多个 rank,结果与 TP=1 不同。他原以为「让每个 rank 恰当地推进 RNG 流」即可解决,但发现行不通——Philox 随机数生成器对硬件细节极度敏感,使分布式环境下的确定性初始化成为棘手问题。
2026-11-17 ~ 2026-11-17 · 2 条相关
- TP=1 与 TP=2 下模型初始化为何结果不同:RNG 难题实例 — ezyang · 2026-11-17
- 「按 rank 推进 RNG 流就行」?Philox 对硬件细节极度敏感 — ezyang · 2026-11-17