Meta 开源 spmd_types：为分布式训练设计的 SPMD 类型系统
austinvhuang · x · 2026-09-19
受 JAX sharding 类型启发、适配 PyTorch 生态的分布式（SPMD）张量计算类型系统在 GitHub 开源（meta-pytorch/spmdtypes），提供两套类型：
- Local SPMD types：追踪反向梯度是否待规约，让 Megatron 风格的可微 collective 可以安全使用。
- Global SPMD types：类 DTensor 抽象，使代码在单卡与分布式下语义一致，同时显式标注通信操作，不再猜测 redistribute 何时发生。
核心价值：无需真正跑完整端到端分布式训练，即可静态检查梯度正确性或不同并行方案下结果等价。
「Infra」频道最新
- 台松新竹多层材料厂凌晨大火爆炸，CCL 供应恐进一步吃紧 — zephyr_z9 · 2026-11-04
- 实测发现同名 Claude 一天走 Bedrock 一天走 Anthropic 直连 — georgos_pappas · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 技嘉推 AI TOP 主板：最高 2TB 内存、可装 9 张 GPU 跑本地 AI — vincent_koc · 2026-11-04
- 攒 7 卡 132GB 显存本地推理机：EPYC 整合还是双平台？ — infectiousstupidity · 2026-11-04
- imec 神经探针直接在 130nm CMOS 上做后端光子集成 — jwt0625 · 2026-11-04