LLM推理集群容量规划工具
taherdhanera · x · 2026-07-16
NEO 发布了一个叫 **Infra Sizer** 的 LLM 推理基础设施规划器，目标是减少团队“算多了浪费、算少了 SLA 爆掉”的两难。 它是一个 CLI 工具，输入： - 模型 ID - 预期请求量 - 延迟 SLA - 上下文长度 然后输出： - 推荐的 GPU 实例类型 - 需要多少张卡 - 适合的 serving framework - batching 配置 - 月度成本估算 作者强调，很多团队为了稳妥会长期超配 H100，导致每月多花 **1 万美元以上**；而如果配得太紧，又会在高峰期触发延迟告警。这个工具的价值就在于把容量规划从拍脑袋变成可计算的工程流程。