Koi: Evidence-Guided, Self-Calibrating Planning for Multi-Cloud, Heterogeneous LLM Inference Fleets
Mankeerat Sidhu, Gangmuk Lim, Hetarth Chopra, Maximillian Eisenberg, Quan Hao Ng, Aryan Gosaliya, Shu Liu, Luka Govedič, Jiaxin Shan, Hongkuan Zhou, Vikram Sharma Mailthody, P. Brighten Godfrey, Ion Stoica
cs.DC, cs.AI
2026-10-17
Koi用因果图加确定性打分规划异构推理，104卡真机goodput为最强基线1.18倍，每token成本降20%。
推理服务商的卡散在多朵云、多代硬件和预留、按需、抢占市场里，在线与批处理抢同一池。每个任务约 140 个旋钮，配置至少 2^140 种，方案还要随任务进出重算。
Llama 3 70B 在 AWS A10G 上（输入/输出 2048/512），五种张量并行与流水线并行的吞吐差 4.4 倍，每 token 成本差 7.5 倍。TP4/PP2 跨两台四卡，180 tok/s、花费 0.97 美元；TP8/PP1 一台八卡，162 tok/s、花费 2.16 美元。prefill 重吃算力，decode 重吃带宽和 KV-cache。引擎更新后，同一配置会漂。
按到达顺序发最好的空卡，会把唯一的 H100 给其实 A100 也能赶上期限的批任务。引擎、多云编排、单模型调参各管一层，没有一层同时选部署并在全部任务之间分容量。
校准后的 roofline 最大偏 4.7 倍。Claude Opus 4.8 和 GPT-5.6 Sol 把吞吐高估 4 倍和 9 倍。贝叶斯优化与进化搜索只看端到端分数，分不清气泡还是缓存压力，而且每次试验都占生产卡。
Koi 管部署，不动请求怎么批。换部署要装权重、预热、排空，试不起很多次。正在跑的服务同时检验它踩到的因果边，不为搜索另占卡。
图在启动时固定：决策只连中介量，中介量再连结果。决策是卡型、并行、量化、批大小；中介量是 KV-cache 压力、流水线气泡、通信、显存压力；结果是延迟、吞吐、成本。吞吐同样变差时，气泡和缓存打满要改的旋钮不同，中介量用来指出该改哪一个。
边用 Beta 分布累计支持与反对，置信度是 α/(α+β)，另外记不确定度，没把握的边优先去跑。机制是一条写明模型、硬件、流量范围的路径。一次部署更新的是机制，范围内别的任务能复用。
每 5 分钟，预算册限制每个任务的 GPU 池，子代理沿图倒查旋钮，只出少量候选。剖面模型预测延迟和吞吐，缺剖面则按 prefill 与 decode 速度比借用近似架构。总分用利用减风险、减切换，再加探索分；利用先罚五个目标里加权后最差的一项。超风险的方案丢掉，改部署有名额上限。模型不能改分数，也不能突破显存、并行和配额。残差要同向累积，才调整探索权重和误差带。
负载覆盖十个模型、25 个在线与批任务，参数量 1B 到 235B，含稠密和 MoE。真机为 GCP 三区域 104 卡（H100-80GB、A100-80GB、A100-40GB、RTX PRO 6000），跑 3 小时。仿真为 400 卡 3 小时、800 卡 12 小时，由 LLMServingSim 2.0 执行，与内部剖面模型分开。语言模型策略都用 GPT-5.6-Luna。综合分是质量、覆盖、效率三柱的几何平均。goodput 只计守住 SLO 的 token，空转卡仍计入成本。
真机因费用只上了三条基线，最强的是 OpenEvolve。
| 方法 | goodput (tok/s) | 成本 (×10⁻⁴ 美元/token) | TTFT 达标 | TPOT 达标 | 综合分 |
| Contextual bandit | 2291.03 | 0.45 | 22.23% | 33.66% | 51.05 |
| Rolling EvoX | 2348.15 | 0.44 | 28.08% | 35.48% | 54.90 |
| OpenEvolve | 3497.43 | 0.30 | 65.66% | 91.41% | 84.44 |
| Koi | 4119.51 | 0.24 | 79.05% | 99.11% | 94.50 |
4119.51 对 3497.43 tok/s，即 OpenEvolve 的 1.18 倍；成本 0.24 对 0.30，低 20%。Koi 的在线与批任务准入都是 100%，批进度 100% 对 75%。TTFT 达标高 13.4 个百分点，TPOT 高 7.7 个。
3 小时仿真里最强基线是 Rolling EvoX。goodput 2911 对 2004，高 45%；成本 1.85×10⁻⁴ 对 2.69×10⁻⁴，低 31%；批进度 84.6% 对 57.7%；TTFT 达标 28.8% 对 9.9%。综合分 70.8 对 54.3。
12 小时、800 卡上，goodput 3184 对 3012，高 5.7%；成本 3.39 对 3.37（同为 ×10⁻⁴），贵 0.59%；批进度 49.6% 对 50.7%。在线准入 95.7%，批任务 100%。TTFT、TPOT 达标仍高 16.0 与 11.8 个百分点。综合分 63.1 对 50.0。这条轨迹上 Koi 换部署 201 次、保持 2076 次，EvoX 换 1464 次，bandit 换 1928 次。因果不确定度中位数从 0.0215 降到 0.00053。
3 小时仿真的消融里，纯语言模型综合分 35.3，加上确定性工具 51.6，完整 Koi 70.8。工具把 goodput 从 856 提到 1827 tok/s。去掉因果图剩 1770，冻结在线更新剩 1621。
配置和分卡放进同一次决策，稀缺硬件的机会成本才出现。真机第 18 个 tick，Qwen3-235B 在等卡。若把 Phi-4 从两份 RTX PRO 6000 的 TP2 收成一份，吞吐从 1572 tok/s 降到 786，低于需要的 834，p99 TTFT 已是 645 毫秒，目标 500。Koi 拒绝这笔回收，两个 tick 后有卡自然空出再准入。
同一模型的综合分从 35.3 到 70.8，中间 51.6 只加了确定性工具。换骨干仍能翻车：Cohere 与 GPT-5.6 Sol 的 goodput 差里，99.3% 来自同一个 7200 条的 Llama-70B 批任务，约 864 万 token。Cohere 用 8 卡 MI300 的 TP8，提前 82 分钟完成；Sol 用 16 张 A100 跑四路 TP4，截止时还差 85 条。在线部分只差 57921 token。校验能挡掉非法方案，挡不住一个合法但选错规模的提案。
1.18 倍和降本 20% 是 104 卡、3 小时、对 OpenEvolve。45% 和降本 31% 是 400 卡仿真、对 EvoX。在线服务走 Nvidia Dynamo，副本上限由 Koi 定。
12 小时仿真里，goodput 只多 5.7%，成本高 0.59%，批进度还低 1.1 个百分点。仿真 TTFT 达标约 28%，真机 79%。硬件和负载都不同，论文没有把这块差距拆开。
近优覆盖和稳定后收敛是两条假设。每轮搜索有预算，交出去的是找到的最高分。因果边在启动时写死，模型加不出图外机制。更长的运行里，支持预测路径的决定性检验从 1.9% 升到 19.1%，不变因果预测接受率从 11.0% 升到 63.3%。证据变厚之后，对得上原机制的仍是少数。
真机缺少 FCFS、CP-SAT、Prism 和纯 GPT。骨干对照是单次运行，卡型、并行、副本一起变，那 99.3% 拆不开。规划器自己的模型费用正文说另计，没有金额。