开源数据加载器 Zephon 集成 TorchTitan：跨 GPU 数恢复训练逐 batch 哈希一致

josh_wills · x · 2026-10-17

Zephon（近期开源的训练数据加载器）宣布集成 PyTorch TorchTitan。核心卖点：在变更 GPU 数量后恢复训练时保持全局 batch 完全一致——官方博客的 1B 参数模型测试中，从 16 GPU checkpoint 在 8/32/64 GPU 上恢复，每个全局 batch 的 SHA-256 哈希都与原 run 完全匹配。

Zephon 在训练任务内部完成 tokenize、pack、shuffle 与数据混合，无需预处理整个语料副本。恢复训练时需保持数据、tokenizer、种子、混合比例、上下文长度与全局 batch 大小不变；lane 数需能被数据并行副本整除，每个 optimizer step 的 batch 需在 lane 间均匀切分。