Koi 论文：自校准规划器提升异构推理集群 goodput 18%、省 20% 成本
burny_tech · x · 2026-10-23
Tandemn、UIUC、UC Berkeley、NYU、字节跳动与 NVIDIA 等机构发布论文 Koi，针对跨云、跨地域、异构加速器上的 LLM 推理集群规划问题（涉及约 140 个部署变量：加速器、并行策略、引擎配置、副本数等）。
核心方法：
- 用递归语言模型（RLM）层级提出部署假设并做推理，确定性组件负责预测服务行为、打分候选方案并控制放置
- 以固定的因果图连接部署决策（加速器、并行度）、运行时中介（KV-cache 压力、通信开销）与结果（延迟、吞吐）；每次部署都强化或削弱局部因果关系，逐步积累推理 playbook
- 作业级配置组合为集群级计划，按服务目标、资源约束、SLO 风险与成本评估
结果：在真实异构集群上，Koi 比最强基线 goodput 高 1.18 倍，$/token 降低 20%。消融显示纯 LLM 综合分 35.3，加 Koi 确定性工具达 51.6，完整规划器 70.8。
「Infra」频道最新
- NVIDIA HGX Rubin NVL8 亮相 GTC 柏林：单价 120 万美元，能效比 B200 高 10 倍 — thursdai_pod · 2026-10-23
- 亚马逊放弃弗吉尼亚 122 英亩园区四座数据中心建设计划 — GaryMarcus · 2026-10-23
- 平台成粮仓，API key 成战利品：Railway、Fireworks、LiteLLM 月内接连被掠 — ccerrato147 · 2026-10-23
- Inco 开源 DFlash 2 drafter:MiniMax M3.1 Flash 生成无损提速 3.5 倍 — Lianhuiq · 2026-10-23
- Cloudflare CEO 预言:五年内 agent 流量将是人类的 1000 倍 — 4KTV · 2026-10-23
- vLLM 详解 M3.1 Flash 部署：NVFP4 令权重缩 44.6%，并发容量升 2.7 倍 — vllm_project · 2026-10-23