Zephon 落地 TorchTitan：换 GPU 数量恢复训练，全局批次哈希完全一致
josh_wills · x · 2026-10-17
PyTorch 官方博客介绍 Zephon 为 TorchTitan 带来的弹性确定性数据加载：训练在 16 GPU 上跑 1B 参数模型，从 step 150 的 checkpoint 分别以 8、32、64 GPU 恢复训练，每个全局批次的 SHA-256 哈希都与原跑完全一致。
核心设计
- Zephon 在训练任务内部完成 tokenize、打包、shuffle 与数据混合，免去预先离线生成并存储整个语料副本——大多数消融实验不会带来更好模型，传统做法白白耗费大量时间与存储。
- 恢复训练时需保持数据、tokenizer、种子、混合比例、上下文长度与全局 batch size 不变；lane 数须能整除数据并行副本数，每步 batch 须均分到各 lane。
- 换 GPU 数后 loss 曲线仍可能有差异，因浮点归约顺序取决于 GPU 数。
为什么重要
数据是改模型表现最有力的杠杆，而现在大量实验由 agent 并行设计与执行，agent 很难察觉结果变化其实源于 GPU 数量改变了数据顺序。确定性加载消除了这一混杂因素。配图基准显示 Zephon 每 GPU 可用吞吐 22.4k-26.6k tokens/s，远高于传统 InternalDs 方案(1.1k-9.2k)，但低于上限 Grain(28.7k-33.2k)。
所属事件:Zephon接入TorchTitan：换GPU数量恢复训练结果可复现(2 条相关)→
「Infra」频道最新
- llama.cpp v0.7.0 发布:一条命令在 128GB Mac 跑 Qwen3.8-Flash 草稿推测 — ggerganov · 2026-10-17
- NVIDIA GB300 NVL72推理吞吐几天内从7万提至约9万 TPS/GPU — NVIDIAAI · 2026-10-17
- 4x3090 还是 DGX Spark：本地部署大模型的算力取舍账 — Dapper_Chance_2484 · 2026-10-17
- SGLang Summit 2026 议程亮相，Decagon 将分享 1T 参数 RL 训练管线 — BanghuaZ · 2026-10-17
- Qwen 本地实测：弃 21K 上下文换更高量化，编码耗时省 25% — Boricua-vet · 2026-10-17
- TeenyWork 原型：让浏览器用比特币挖矿算力付费换访问 — stonebrigade · 2026-10-17