GPU 推理自动缩容省的钱,何时反而不够付冷启动开销?
Mobile-Lab-4586 · reddit · 2026-10-29
Reddit 上一个生产 LLM 推理的成本权衡讨论:按流量自动缩放 GPU 看似省钱,但推理负载难以预测——突发流量、请求时延要求不同、扩容时新 worker 启动并加载模型权重造成延迟。
常驻 GPU 避免冷启动但会为闲置算力付费。AWS、Google Cloud、CoreWeave、Yotta Labs 等平台提供多种算力管理方案,但实际选择取决于具体工作负载。作者向在生产环境跑 LLM 推理的从业者提问:常驻 GPU、自动缩放 worker 和 serverless 推理三者如何抉择?
「Infra」频道最新
- Ollama 两周上架十余款模型：LFM3-1.7B 主打端侧 Agent，256K 上下文仅 1GB — ollama · 2026-10-30
- Meta 语义 token 化广告推荐系统，转化率提升 0.35% — Meta_Engineers · 2026-10-30
- 并行语言模型 5.7 倍提速：一次前向预测多 token 且质量不掉 — aaron_lou · 2026-10-30
- Oracle 投资者日披露:1GW AI 基础设施合约值 800 亿美元、ROI 约 28% — rohanpaul_ai · 2026-10-30
- Sam Altman：本地推理是对稀缺算力的糟糕分配，云上利用率才是正解 — morqon · 2026-10-30
- 双 RTX 4060 Ti 跑本地 LLM 实测:35B 模型解码达 122.5 token/s — Rooneybuk · 2026-10-30