PyTorch TorchTitan 大更新:支持 DeepSeek-V4、Kimi K3,新增 TitanRL
PyTorch · x · 2026-10-22
PyTorch 团队发布 TorchTitan 一年来最大规模更新,保持极简可扩展设计的同时落地多项增强:
- 新增 SOTA 开源模型支持:Qwen3-VL、Qwen3.5、Kimi K2.7、Kimi K3、DeepSeek-V4 等,均为覆盖 5D 并行栈的完整训练栈集成
- 引入基于类型化 Python recipe 的可组合配置系统,可切换并行策略、模型组件或硬件内核而无需维护独立 fork
- 集成 Attention Gym 优化内核,包括 Gated DeltaNet、Kimi Delta Attention 与稀疏注意力
- 大幅提升开箱即用的大规模性能,新增 RL 支持(TitanRL)与新的通信特性
架构图显示同一份模型代码可分别跑预训练(TorchTitan)、RL 训练(TitanRL)与 vLLM 推理生成。
所属事件:PyTorch TorchTitan 大更新：新增多款 SOTA 模型支持(2 条相关)→
「Infra」频道最新
- NVIDIA Cosmos-3-Nano 上线 Reactor：双臂世界模型实时推理 — chris_j_paxton · 2026-10-22
- Bindu Reddy 试水 Abacus.AI 超算,GPU 跑 3D 飞车游戏 — bindureddy · 2026-10-22
- 2-bit 权重放显存+残差放内存：让放不下的模型也能投机解码 — Happy_Guitar3521 · 2026-10-22
- Seroter 日报：OpenAI 模型登陆 Google Cloud 等要闻 — rseroter · 2026-10-22
- inference.net 占 OpenRouter 第三方托管 14% 份额居首，日处理约 10% 调用量 — Ronangmi · 2026-10-22
- 一条命令把 Vercel Eve agent 部署到 Cloudflare：开源工具 Eden 发布 — ritakozlov · 2026-10-22