别再用静态榜单选模型:该算 API 与自建的 token 盈亏平衡点
zackku · reddit · 2026-10-27
作者认为生产环境里榜单分数（Chatbot Arena Elo、GPQA 等）基本失效，真正卡住人的是两个基础设施问题：
- API 与自建的盈亏平衡线：在什么月 token 量和 prompt 缓存命中率下，租 Spot GPU 跑量化权重比付 OpenAI/Anthropic 更划算。
- 真实显存估算：权重只是一半，算上上下文窗口和 KV cache 开销后，常见显存对照表会失效，导致 vLLM/Ollama 意外 OOM。
为此他做了一个免登录的 FinOps 工具，覆盖 280+ 模型，支持：拖动月 token 量与缓存命中率（0%–95%）滑块做 token 套利模拟；按 FP16/FP8/INT8/Q4 计算显存并一键生成 vLLM、Ollama 启动命令；模拟多智能体路由（小模型分流再升级到前沿模型，通常省 60%–80%）。
结尾向生产用户提问：规模化下怎么算 token 花费，默认用 API 还是自建。
「Infra」频道最新
- Lovable 月调 7536 亿次 Workers,从 Next.js 迁至 TanStack Start — ritakozlov · 2026-10-27
- 布拉格实验室 BottleCapAI 发三款 ThinkingCap 模型，思考 token 最高省 69% — JFPuget · 2026-10-27
- 本地向量路由 100k 工具 top-1 达 70.7%、延迟 9.6ms，吊打 BM25 — Key_Coconut_9269 · 2026-10-27
- 单卡 RTX 3090 同时跑 4 个编码 agent，自研 CUDA 引擎达 290 tok/s — Adorable_Weakness_39 · 2026-10-27
- Google 联合 Red Hat/IBM 发布 llm-d 1.0,千级 Agent 实测分布式推理 — dl_weekly · 2026-10-27
- Transformers v5.21 发布：FP8 KV 缓存、MoE 分片与新 TTS 模型 — LysandreJik · 2026-10-27