开源工具用对冲降低GPU冷启动
Putrid_Construction3 · reddit · 2026-07-14
GPUHedge 是一个开源项目，目标是通过“对冲”多个 serverless GPU 提供商来降低冷启动尾延迟。作者在对 17GB AI 模型做基准测试后发现，单一 provider 常出现两种极端：要么 6–8 秒完成，要么在冷启动后拖到 90–122 秒。 它的做法是： - 先在主 provider 上发起请求； - 监控任务生命周期； - 必要时再启动备份 provider； - 由第一个通过校验器的结果获胜，其他任务通过原生 API 取消。 初版 benchmark 显示：固定的 RunPod → Cerebrium 对冲，在 36 次评测中把 p95 从 116.6 秒降到 29.4 秒；60 秒以上请求从 11/36 降到 0/36；按模型计算的活跃算力成本也从每次 0.0114 美元降到 0.0083 美元。项目当前是 Apache-2.0、alpha 阶段，作者也邀请大家尝试策略引擎并继续扩展 provider。