TP=1 与 TP=2 下模型初始化为何结果不同:RNG 难题实例

ezyang · x · 2026-11-17

Edward Yang 以张量并行(TP)为例解释 RNG SM 依赖问题:同一个模型在 TP=1 时权重初始化只需一次 RNG kernel 调用,而在 TP=2 时权重被切分到两个节点,变成两次 RNG 调用——但用户期望两种并行配置下初始化结果完全一致。

他表示自己早就意识到这个并行度不变性问题,因为在另一个场景中也遇到过:如何保证参数初始化不随并行方式的选择而改变。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →