Together AI 深度解析：LLM 推理自动扩缩容避坑指南
togethercompute · x · 2026-08-01
Together AI 发布了一篇关于大模型推理端点自动扩缩容的深度技术文章。文章指出，传统的 CPU 利用率等指标无法真实反映 GPU 的压力，当 GPU 显示 60% 繁忙时，推理引擎的请求队列可能早已堵塞。
文章深入探讨了以下核心工程实践：
- 扩缩容指标选择：在 8 种指标中，为何推荐将“在途请求数量”作为默认的缩放依据。
- 时间窗口设置：如何配置扩缩容的时间窗口，并解析了几乎所有工程师都会踩的“锯齿状副本数”坑。
- 冷启动成本测算：分阶段量化了冷启动的实际开销，并提供了在单张 H100 上的实测数据。
此外，文章还通过实验重放了同一负载在三种不同策略下的表现，其中两种策略完全未能触发扩容。
「Infra」频道最新
- a16z：AI 基础设施需求有增无减，供应链瓶颈成产业制约 — a16z · 2026-08-01
- Vercel AI Gateway 支持团队与项目级预算上限 — cramforce · 2026-08-01
- 特斯拉签下469兆瓦太阳能协议，提前数年锁定AI算力电力 — XFreeze · 2026-08-01
- DGX Spark 本地部署：Qwen 3.5 122B 后的模型升级选择探讨 — Voxandr · 2026-08-01
- 分析师路透：Equinix圣何塞园区扩建约200MW — BenBajarin · 2026-08-01
- Micro Center 曝出 RTX 5090 显卡大幅涨价 — soumitrashukla9 · 2026-08-01