smolcluster:纯 Python socket 实现 DDP/FSDP/ZeRO 等分布式训练
East-Muffin-6472 · reddit · 2026-11-21
作者开源 smolcluster 教育项目:只用基础 Python 和 socket,从零实现 LLM 分布式训练(及部分推理)的核心算法,目标是搞懂底层机制、在自有零散硬件(3 台 Mac Mini、Jetson Nano 等)上跑本地 AI。
已实现算法:
- DDP(分布式数据并行)
- Pipeline Parallelism(流水线并行)
- ZeRO
- Expert Parallelism(专家并行)
- FSDP(全分片数据并行)
- EDP(弹性数据并行)
smolcluster 库支持把 Mac Mini、Jetson Nano、树莓派、手机/平板等异构设备组成集群做分布式训练/推理,教育用途,仍在开发中。适合想彻底理解分布式训练每个细节的初学者。
「编程与Agent」频道最新
- AI 网关正成生产级 AI 栈的关键控制层:八大核心能力清单 — goyalshaliniuk · 2026-11-21
- Mnemos 2.0:给 Agent 留「给下一个自己的记忆」 — RileyRalmuto · 2026-11-21
- InferenceBench 放榜:Claude Opus 5.5 摘冠,Gemini 4 Neon 超 GPT-6.2 — maksym_andr · 2026-11-21
- 27 年资深可靠性工程师总结 4 种提升多智能体系统可靠性的架构模式 — bibryam · 2026-11-21
- AutoCut + FrameAtlas 开源:让 Claude Code 编辑视频而不用反复读媒体库 — moheshmohan · 2026-11-21
- InfoQ 长文:Agent Harness 是什么,以及两种构建方法 — bibryam · 2026-11-21