2007 年集合通信综述，至今仍适合入门 NCCL
abhi9u · x · 2026-07-26
这条是在推荐一篇 2007 年的集合通信综述论文，作者说自己刚开始研究 NCCL / 多 GPU 编程时，发现即使 NCCL 把 scatter、gather、reduce-scatter 等集合操作的实现细节抽象掉，理解它们背后的算法和成本模型仍然很有帮助。
- 论文系统整理了集合通信的多种经典实现技术，把分散在不同工作里的方法放到一处对照。
- 重点不仅是“怎么做”，还包括“代价怎么算”，适合做性能分析和通信模式判断。
- 文章面向分布式内存架构，并附有在大型 Intel Xeon/Pentium 4 集群上的性能结果。
「Infra」频道最新
- 基础设施团队正把 MCP 接入 AI agent 做运维 copilot — BestRequirement7539 · 2026-07-26
- OnePlus 12 本地跑图像模型，320×320 仍要几分钟 — sgcego · 2026-07-26
- 创始人揭秘停止融资内幕：算力瓶颈比资金更致命 — bookwormengr · 2026-07-26
- RTK 用 Rust 压缩 AI Agent 的 Shell 输出，最高省 90% — OpenAIDevs · 2026-07-26
- 推理服务可能要按 tool call 超时调整缓存策略 — lucasmeijer · 2026-07-26
- OpenSmith 更新本地 LLM 追踪与可观测面板 — Maleficent-Emu-4549 · 2026-07-26