TorchTitan 大更新:支持 DeepSeek-V4 等 5D 并行,Muon 优化提速 79%
PyTorch · x · 2026-10-22
PyTorch 团队发布 TorchTitan 重大更新:
- 新模型支持:为 DeepSeek-V4、Qwen3.5/Qwen3-VL、Kimi K2.7/K3、Muse Spark Open 等开源权重模型提供原生 5D 并行全训练栈集成;新增基于类型化 Python recipe 的组合式配置系统,无需维护单独 fork 即可换并行策略、组件或硬件 kernel,并接入 Attention Gym 的 Gated DeltaNet、Kimi Delta Attention、稀疏注意力等优化 kernel。
- TitanRL 框架:在同一训练引擎上统一后训练与 agent/RL 工作流,预训练、RL 训练、vLLM 生成共享同一份模型代码。
- 性能:FlexShard 将分布式 Muon 优化器耗时最多降低 79%;torchcheckpointing 在 512 卡上把 checkpoint 阻塞时间压到 34 毫秒。
「Infra」频道最新
- 推文科普投机解码：不改权重、保持采样分布的加速之美 — cneuralnetwork · 2026-10-22
- 图解投机解码：一次前向通过最多产出 k+1 个 token 且分布不变 — cneuralnetwork · 2026-10-22
- Cloudflare 披露为 OpenAI ChatGPT 站点提供基础设施支持 — ritakozlov · 2026-10-22
- DeepSeek 开源全景：从模型权重到推理引擎几乎全栈开放 — examachine · 2026-10-22
- Meta Prometheus 超算细节：GPU 集群仅 87% 可用，13% 作热备闲置 — SumitGup · 2026-10-22
- 作者自行转换一批 OpenVINO 模型，公开征集更多需求 — Sudden_Topic5154 · 2026-10-22