TP=1 与 TP=2 下模型初始化为何结果不同:RNG 难题实例
ezyang · x · 2026-11-17
Edward Yang 以张量并行(TP)为例解释 RNG SM 依赖问题:同一个模型在 TP=1 时权重初始化只需一次 RNG kernel 调用,而在 TP=2 时权重被切分到两个节点,变成两次 RNG 调用——但用户期望两种并行配置下初始化结果完全一致。
他表示自己早就意识到这个并行度不变性问题,因为在另一个场景中也遇到过:如何保证参数初始化不随并行方式的选择而改变。
「Infra」频道最新
- 「按 rank 推进 RNG 流就行」?Philox 对硬件细节极度敏感 — ezyang · 2026-11-17
- 估值仅 1/28,Bittensor 子网 Engy 推理量反超 Venice 登全球第二 — markjeffrey · 2026-11-17
- Fractile 融资 7.2 亿美元造 AI 推理芯片,押注推理成本决定 AI 经济学 — YvesMulkers · 2026-11-17
- vLLM 发布 DeepSeek V4.1 Flash 在 Vera Rubin NVL72 首批推理成绩 — vllm_project · 2026-11-17
- vLLM 曝 Vera Rubin NVL72 跑 DeepSeek V4.1 Flash,单芯片吞吐最高 93 倍于 GB300 — vllm_project · 2026-11-17
- 10 分钟给手机装上开源 AI:无账号无订阅,飞机模式照常问答 — alex_verem · 2026-11-17