Meta 开源 spmd_types：为分布式训练设计的 SPMD 类型系统
austinvhuang · x · 2026-09-19
受 JAX sharding 类型启发、适配 PyTorch 生态的分布式（SPMD）张量计算类型系统在 GitHub 开源（meta-pytorch/spmdtypes），提供两套类型：
- Local SPMD types：追踪反向梯度是否待规约，让 Megatron 风格的可微 collective 可以安全使用。
- Global SPMD types：类 DTensor 抽象，使代码在单卡与分布式下语义一致，同时显式标注通信操作，不再猜测 redistribute 何时发生。
核心价值：无需真正跑完整端到端分布式训练，即可静态检查梯度正确性或不同并行方案下结果等价。
「Infra」频道最新
- 开源模型烧钱量首超 OpenAI,Vercel 网关开源 token 占 78% — soumitrashukla9 · 2026-09-19
- 8 风扇强冷仍压不住:多卡机箱中间两张 GPU 满载破 90°C — TheZachMueller · 2026-09-19
- 零依赖开源工具 ROCmFix 一键修复 AMD GPU 本地 LLM 环境并对比 Vulkan/HIP — pavlexlkl · 2026-09-19
- 模拟内存访问有多难？FEX-Emu 详解 x86 转 ARM 的坑 — blaizedsouza · 2026-09-19
- 三行 bash 逃逸 Docker 沙箱：virtio-fs TOCTOU 漏洞获编 CVE-2026-77179 — blaizedsouza · 2026-09-19
- Cosmos DB 团队 VLDB 论文:更优调度策略年价值可达上亿美元 — blaizedsouza · 2026-09-19