SOSP'26 论文:面向能耗的 GPU 共享方案,重思推理服务利用率
tianyin_xu · x · 2026-09-30
NeerajaJY 团队的 SOSP'26 论文 《Beyond Utilization: Energy-Conscious GPU Sharing for Inference Serving》在会议现场报告。论文主张推理服务的 GPU 共享不应只看利用率,而要引入能耗视角,提出能耗感知的 GPU 共享方案。论文与后续线程见原帖链接。
「Infra」频道最新
- 不换模型也能省 AI 账单:五招优化 LLM 使用成本 — goyalshaliniuk · 2026-09-30
- DeepSeek 转用华为昇腾 950 训练模型 — WebAssemblyMan · 2026-09-30
- FreeToken 开源:消费级硬件本地跑 290B+ MoE 模型 — tom_doerr · 2026-09-30
- EnerTune 登 SOSP'26：推理能耗较 SOTA 降低 1.4–2.3 倍 — tianyin_xu · 2026-09-30
- SOSP'26 两篇系统论文:AI Agent 隔离数据流与 CXL 共享内存索引 — tianyin_xu · 2026-09-30
- DeepSeek 开源华为昇腾工具包， TileLang 支持瞄准 CUDA 替代 — kimmonismus · 2026-09-30