SmolCluster：基于 Socket 的跨异构硬件分布式训练库
retr0jirachi · x · 2026-09-01
SmolCluster 是一个用于异构硬件的分布式深度学习库，旨在帮助开发者从零开始学习分布式训练和推理。该项目仅使用 Python 的 socket 库，无需 NCCL 或 MPI，可在 Mac mini、树莓派、MacBook 和 Windows 机器上运行。支持 FSDP、ClassicDP、EDP、模型并行等多种分布式算法。作者强调这是一个教育性质的项目，代码优先考虑可读性而非性能。
「Infra」频道最新
- 阿达尼：AI 竞争优势在于整合清洁能源与数据中心 — Div_pradeep · 2026-09-01
- Naver 提出 Verification-Aware Training：训练时模拟验证提升投机解码 — naver-ai · 2026-09-01
- ExLlamaV3 大更新：MoE 专家 CPU offload 与自校准量化 — Unstable_Llama · 2026-09-01
- Highlander 上线：自研 GPU 内核把实时视频成本砍半 — Small-Term672 · 2026-09-01
- Qwen3.8 模型 pMLX 引擎实测：12GB 显存跑代码 — EyalToledano · 2026-09-01
- GPU 债权人很保守：倾向短周期资产，残值常按零算 — AccBalanced · 2026-09-01