「按 rank 推进 RNG 流就行」?Philox 对硬件细节极度敏感
ezyang · x · 2026-11-17
Edward Yang 继续拆解分布式 RNG 难题:最初有人向他提出这个问题时,他以为「只需让每个 rank 恰当地推进 RNG 流即可」。结果发现行不通——Philox 随机数到各张量的精确分配对具体硬件细节极其敏感,稍异即变,这正是该问题多年悬而未决的核心原因。
该线程是 PyTorch 无状态 RNG API 落地背景的技术复盘。
「Infra」频道最新
- TP=1 与 TP=2 下模型初始化为何结果不同:RNG 难题实例 — ezyang · 2026-11-17
- 估值仅 1/28,Bittensor 子网 Engy 推理量反超 Venice 登全球第二 — markjeffrey · 2026-11-17
- Fractile 融资 7.2 亿美元造 AI 推理芯片,押注推理成本决定 AI 经济学 — YvesMulkers · 2026-11-17
- vLLM 发布 DeepSeek V4.1 Flash 在 Vera Rubin NVL72 首批推理成绩 — vllm_project · 2026-11-17
- vLLM 曝 Vera Rubin NVL72 跑 DeepSeek V4.1 Flash,单芯片吞吐最高 93 倍于 GB300 — vllm_project · 2026-11-17
- 10 分钟给手机装上开源 AI:无账号无订阅,飞机模式照常问答 — alex_verem · 2026-11-17