GORGO:跨区域网络感知的LLM服务在线调优

Alessio Ricci Toniolo · hf · 2026-07-07

GORGO 提出一种代理(proxy)架构优化 LLM 推理负载均衡,联合考虑网络延迟、prefill 成本与排队延迟,通过在新合成数据集上的进化策略调优提升跨区域推理服务效率。