美光与 Meta 白皮书称 Spark 溢写 SSD 后可慢 38 倍
dr_alphalyrae · x · 2026-07-27
美光/Meta 白皮书：DRAM 不够会让 Spark 慢 38 倍
这份联合白皮书讨论的是 Spark 工作负载的内存瓶颈：当 shuffle 数据超过可用 DRAM 并溢写到 SSD，性能会出现数量级下滑。
- 在标准负载下，shuffle-heavy 阶段成为主要瓶颈，一旦 spill 到磁盘，速度慢了 38 倍。
- 在更重的 3× 负载下，瓶颈转为 scan 阶段的重复读取；由于 OS page cache 更小，会反复从 SSD 读回数据。
- 论文强调，大容量内存同时承担两件事：把 shuffle 工作集留在 DRAM 里，以及保住足够大的 page cache。
- 结论很直接：要避免磁盘 I/O 带来的数量级降速，DRAM 预算必须同时覆盖 shuffle 分区和 page cache。
「Infra」频道最新
- 做本地 LLM 机器时该盯 RTX Ada 还是 5090 — egudegi · 2026-07-27
- 一篇文章拆解如何降低 Microsoft Fabric 容量成本 — adnan_hashmi · 2026-07-27
- Microsoft Fabric 的 sempy.fabric 包入门指南 — adnan_hashmi · 2026-07-27
- Voice AI 通话真实成本不止按分钟算 — decant338 · 2026-07-27
- AI 推理服务被指比自租 GPU 贵 7 到 15 倍 — JoshPurtell · 2026-07-27
- CUDA 基准测出 6400 万数求和快 20 倍 — ctjlewis · 2026-07-27