微软 Fabric Efficient Scaledown 让 Shuffle 重型任务成本降 43%
adnan_hashmi · x · 2026-09-25
微软在 Fabric 上推出预览功能 Efficient Scaledown，针对 Shuffle 重型 Spark 任务扩展难的问题，官方基准显示可减少 43% 计算成本，且无需改代码。
- 问题根源：Spark 的 shuffle 数据写在 executor 本地磁盘，磁盘随 executor 生命周期存在；自动缩容无法安全释放还持有 shuffle 数据的节点，产生「僵尸 executor」——活干完了却因占着数据而持续计费
- 解法：将 shuffle 数据与 executor 生命周期解耦，让集群能及时缩容
- GROUP BY、JOIN 等操作最受益；功能处于 Preview 阶段，开启即可试用
「Infra」频道最新
- Starlink 美国城市用户增速 73% 反超农村，上传速度提升 42% — XFreeze · 2026-11-11
- Cloudflare 采用未经实战的共识算法 QuePaxa,替代 Raft/Paxos 建 Meerkat — sull · 2026-11-11
- 用 AI 扫遍全美废弃商场，改造成数据中心的脑洞 — LinusEkenstam · 2026-11-11
- Anthropic S-1 曝 260 亿美元私募：七大供应商按 IPO 价入股 — demian_ai · 2026-11-11
- AMD 10Q 披露收购 Taalas 花费 29 亿美元,将 LLM 权重烧进硬件 — deedydas · 2026-11-11
- SpaceXSI 1.2GW 燃气电厂获密西西比州环保许可,为 Colossus II 供能 — XFreeze · 2026-11-11