Zephon 集成 TorchTitan:换 GPU 数量恢复训练,全局 batch 哈希完全一致
josh_wills · x · 2026-10-17
PyTorch 官方博客介绍 Zephon 的 TorchTitan 集成：训练在不同 GPU 数量上恢复时保持完全一致的全局 batch。在 1B 参数模型测试中，从 16 GPU checkpoint 分别在 8、32、64 GPU 上恢复训练，每个全局 batch 的 SHA-256 哈希均与原始运行完全匹配。
- Zephon 在训练任务内部完成 tokenization、打包、混洗与数据混合，无需预处理语料副本。
- 恢复时数据、tokenizer、种子、混合比例、上下文长度与全局 batch size 必须不变；lane 数需被数据并行副本整除，每个 optimizer step 的 batch 需在 lane 间均匀切分。
- 训练 loss 仍可能有差异（浮点非确定性）。
所属事件:开源加载器 Zephon 集成 TorchTitan，换 GPU 数恢复训练结果一致(4 条相关)→
「Infra」频道最新
- 博通 OCP 释出 Ultra 与 Jericho 路线，AI 以太网故事被低估一半 — BenBajarin · 2026-10-17
- 分析师驳「中国 2028 洪灌 HBM」论:量产差距达 5-7 年 — JOBhakdi · 2026-10-17
- Kaggle 老将放话:本地模型跑不到 100 TPS 基本没人用 — TheZachMueller · 2026-10-17
- Rob LeClerc:AI 正把量子计算时间线大幅提前 — robleclerc · 2026-10-17
- 85 个 GPU kernel 抽查 32 个有隐患,SentryWard 主攻 AI 生成代码验证 — JiaZhihao · 2026-10-17
- llama.cpp 新增 IBM Granite 模型切换功能，本地即可运行 — jacek2023 · 2026-10-17