GPU 开销去哪了：训练、推理还是闲置？ teams 的真实账单讨论
Borges_Engineer · reddit · 2026-10-02
Reddit 讨论帖：大家谈 ML 算力成本时总默认指训练，但作者认为很多团队的真实账单不同——推理全天运行，而预留 GPU 在任务间隙大量闲置，因为没人愿意放弃容量。作者发起粗略比例调研（如训练/推理/闲置 30/50/20），并询问降低闲置的手段：autoscaling、spot 实例、共享队列还是单纯靠人自觉释放资源。作者还建了一个聚焦 infra/serving/监控与生产事故复盘的 Discord。
「Infra」频道最新
- a16z 拆解 AI 基建资金流向:每 100 美元 50 个进芯片,20 个进电力 — demian_ai · 2026-10-02
- 数据库老兵押注负载感知推理：批处理 LLM 任务可省大量重复计算 — sh_reya · 2026-10-02
- SemiAnalysis:16% 的 Rubin 计算裸片面积耗在 HBM 控制器与 PHY 上 — BenBajarin · 2026-10-02
- Modal Clusters 正式上线:RDMA 节点按秒计费,一个装饰器起集群 — josh_wills · 2026-10-02
- Benchmark领投芯片初创Tendrils Compute，估值或超10亿美元 — Sethwinterroth · 2026-10-02
- 实测拆穿 Gufo 70 tok/s 宣传：重复词基准虚高，日常仅 39 tok/s — brainchillzZ · 2026-10-02