微软 Fabric Efficient Scaledown 让 Shuffle 重型任务成本降 43%
adnan_hashmi · x · 2026-09-25
微软在 Fabric 上推出预览功能 Efficient Scaledown，针对 Shuffle 重型 Spark 任务扩展难的问题，官方基准显示可减少 43% 计算成本，且无需改代码。
- 问题根源：Spark 的 shuffle 数据写在 executor 本地磁盘，磁盘随 executor 生命周期存在；自动缩容无法安全释放还持有 shuffle 数据的节点，产生「僵尸 executor」——活干完了却因占着数据而持续计费
- 解法：将 shuffle 数据与 executor 生命周期解耦，让集群能及时缩容
- GROUP BY、JOIN 等操作最受益；功能处于 Preview 阶段，开启即可试用
「Infra」频道最新
- VeriTile:用 Lean 形式化验证 Triton GPU 内核,AI 智能体自动写正确性证明 — KaiyuYang4 · 2026-09-25
- Merge Gateway 推出 Batch API,批量推理约半价 — shensi · 2026-09-25
- 工程师发文详解生产环境 LLM 推理扩容实践 — abhijithneil · 2026-09-25
- Lambda 工程师详解本地推理装机:27B 模型需 24-32GB 显存 — TheZachMueller · 2026-09-25
- Pokee AI 现场演示 36B agent 模型跑在 32GB 内存的骁龙笔记本上 — Kyrannio · 2026-09-25
- AMD 讲师亮相 PyTorchCon:1K+ MI355X 上实现 MXFP8 预训练扩展 — PyTorch · 2026-09-25