LLM推理集群容量规划工具
taherdhanera · x · 2026-07-16
NEO 发布了一个叫 Infra Sizer 的 LLM 推理基础设施规划器，目标是减少团队“算多了浪费、算少了 SLA 爆掉”的两难。
它是一个 CLI 工具，输入：
- 模型 ID
- 预期请求量
- 延迟 SLA
- 上下文长度
然后输出：
- 推荐的 GPU 实例类型
- 需要多少张卡
- 适合的 serving framework
- batching 配置
- 月度成本估算
作者强调，很多团队为了稳妥会长期超配 H100，导致每月多花 1 万美元以上；而如果配得太紧，又会在高峰期触发延迟告警。这个工具的价值就在于把容量规划从拍脑袋变成可计算的工程流程。
「编程与Agent」频道最新
- Claude Code 用法心得：max 档做规划，xhigh 档做实现 — majidmanzarpour · 2026-10-27
- Chrome 团队详解 WebMCP：不是取代 MCP，而是让网站直接向 agent 提供工具 — rseroter · 2026-10-27
- Agent 绕过 UI 就能改已审批报销单?Agent-Native 框架要堵这个洞 — rseroter · 2026-10-27
- 开发者晒 AI 编码智能栈：人定方向 Opus 写码 Astra 审查，人类只做审阅 — sh_reya · 2026-10-27
- Baseten 网络课：用自有合并 PR 建 benchmark,按每成功任务成本评估开源模型 — baseten · 2026-10-27
- Thorsten Ball 谈 Agent 工作法：多用评测、多上自动化、放手让 Agent 干 — omarsar0 · 2026-10-27