LLM 推理成本怎么按团队归因
Extreme_Tangelo8336 · reddit · 2026-07-18
作者提到，随着 LLM 从少数产品功能扩展到内部工具、智能体、客服工作流和评测，推理成本归因开始变得棘手：
- 厂商控制台通常只能看到 token 用量，但财务需要知道到底是哪个团队、哪个项目花了钱。
- 基础设施团队往往能看到原始使用量，财务却只看到一张总账单，中间层的归因能力还不成熟。
- 作者认为可行方向是把应用层打标和内部报表结合起来，并询问大家现在是如何正式管理这件事，还是仍然把它当作共享基础设施成本。
「Infra」频道最新
- 推理服务关键指标盘点:流式速度 TPOT 与可用性如何影响体验 — abhijithneil · 2026-09-11
- PlanetScale 推出分片 Postgres,768 台服务器组成 1PB 单库 — dhruv2038 · 2026-09-11
- 7900 XTX 24GB 能否跑 Qwen，Reddit 征集 ROCm 实测数据 — thenomadexplorerlife · 2026-09-11
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
- SF Compute 创始人：现在买算力是「绝对糟糕的体验」 — IgorCarron · 2026-09-11
- 开源 SmolVM:2026 年 Agent 不止用浏览器,而是拥有整台电脑 — aniketmaurya · 2026-09-11