AI 系统设计系列 Day 2：用信封算术估算 LLM 应用容量与月成本
techyoutbe · x · 2026-10-20
techyoutbe 发布《System Design for AI》系列第 2 天内容：需求与容量估算，配有一页可视化信息图。
- 功能性 vs 非功能性需求：功能回答「做什么」（问答、摘要、生成），非功能回答「做得多好」（p95 延迟、QPS、准确率、可用性、成本）
- 动手前先澄清问题：用户是谁、预期 QPS、可接受延迟、准确率门槛、预算
- 信封算术示例：日均 100 万请求 ≈ 平均 12 QPS、峰值 60 QPS；每请求 1K tokens 则月 300 亿 tokens，按 $0.60/1K tokens 计月成本约 $18,000
- 容量图：QPS×tokens 推算 GPU 与显存，日志与数据决定存储
- SLO/SLA 设定：先定现实目标（如 p95 ≤2s、可用性 ≥99.9%）再设计系统满足它
- 成本框架：$/1K tokens、$/GPU 小时、缓存命中节省（30% 命中率可省 30% 成本）
- 陷阱提醒：没做容量估算就设计，会导致过度或不足配置；附练习任务（估算 50 万日查询应用的 QPS、GPU 与月成本）
「编程与Agent」频道最新
- 开源 AI 视频预演工具 CozyClay 获作者背书推荐 — cocktailpeanut · 2026-10-23
- Supabase 一键给应用装 MCP 服务器：ChatGPT/Claude 可直接调用你的应用 — dshukertjr · 2026-10-23
- Grok Bot 配「专属电脑」：浏览器+终端+云端文件系统直接干完任务 — nima_owji · 2026-10-23
- Neon 推出 TanStack AI 官方 AI Gateway 适配器，一个凭据调用多家模型 — matei_zaharia · 2026-10-23
- Reflection AI 演示 Beam 接入 opencode,自动微调 Gemma-4 准确率提升 66.5% — danielhanchen · 2026-10-23
- Cua 推出 Spaces SDK：让 Hermes 等 Agent 跑在你自己的电脑沙箱里 — Teknium · 2026-10-23