smolcluster:仅用 Sockets 实现的分布式训练库

retr0jirachi · x · 2026-08-19

smolcluster 是一个专为教学设计的分布式深度学习库。它允许用户在 Mac mini、树莓派和 Windows 机器等异构硬件上训练和服务神经网络。该项目仅使用 Python 的原生 socket 库,不依赖 NCCL 或 MPI,支持 FSDP、ClassicDP、EDP、参数服务器以及专家并行等多种分布式算法。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →