DatologyAI 开源 Zephon:换 GPU 数量不再悄悄扭曲训练实验结果

lmoroney · x · 2026-10-08

DatologyAI 开源了数据加载器 Zephon（已上 PyPI，附 TorchTitan 和 Megatron-LM 集成示例），解决一个隐蔽的实验坑：恢复训练时若 GPU 数量变化，多数 dataloader 无法保证数据顺序一致，会悄悄扭曲消融实验。核心机制：把数据切成固定数量的逻辑 lane，改变 GPU/并行度/后端只是重新分配 lane，即使训练中 tokenize、pack、混数据也能保持全局 batch 顺序一致。实测：1B 模型训 20B tokens，标准 loader 仅因 GPU 数量不同就在 FineWeb eval 上产生最高 0.64 分差、DCLM Core v1 上 0.82 分差；Zephon 把波动压到 0.011 和 0.05 分。