单卡能否伪造分布式通信
ezyang · x · 2026-07-17
ezyang 提出一个分布式训练的挑战思路：拿任意大型 LLM 的训练配置，截取其中一个 rank 的视角，保留完全相同的本地计算 kernel，但假设自己只有一块 GPU，必须把原本来自通信的输入全部“伪造”出来。 问题是：能否在这种条件下跑完 10 个 step，而且 loss 仍然不是 NaN。这个问题本质上在考察分布式训练里通信与本地计算的耦合程度，以及单卡复现某个 rank 时对数值稳定性的要求。
ezyang · x · 2026-07-17
ezyang 提出一个分布式训练的挑战思路：拿任意大型 LLM 的训练配置，截取其中一个 rank 的视角，保留完全相同的本地计算 kernel，但假设自己只有一块 GPU，必须把原本来自通信的输入全部“伪造”出来。 问题是：能否在这种条件下跑完 10 个 step，而且 loss 仍然不是 NaN。这个问题本质上在考察分布式训练里通信与本地计算的耦合程度，以及单卡复现某个 rank 时对数值稳定性的要求。