企业 AI 不能只算 token 单价：推理经济学须从第一天纳入架构
kashifmanzoor · x · 2026-11-16
作者指出，企业 AI 用例从原型走向生产后，成本问题（inference economics）成为架构设计的核心变量：
- 原型阶段便宜快捷，但随着真实用户涌入，请求量、上下文长度缺乏治理，成本迅速失控；
- 现代企业 AI 已不是单次模型调用：RAG 检索管线、多个模型调用、嵌入工作流的 agent 都叠加成本；
- 主张从「每 token 成本」转向评估「AI 完成的业务工作流/任务的端到端成本」，而非只看推理基础设施给多少 token 额度；
- 结论：AI 经济学应从第一天就成为 AI 架构的一部分，避免重蹈云计算经济学几十年的覆辙。
「Infra」频道最新
- 女程序员自述南下深圳做智算生意:戳破倒卖 B300 暴利神话 — dotey · 2026-11-16
- llama.cpp 新内核让 AVX-VNNI 上 Q2_0 预填充提速约 1.3 倍 — pmttyji · 2026-11-16
- 开发者抱怨推理服务商不足，Perplexity decider 模型一债难求 — bo_wangbo · 2026-11-16
- 印度工程师自研多智能体运行时 Pony 求职，附 RPC、日志系统全套源码 — sharpeye_wnl · 2026-11-16
- NYT 长文曝黄仁勋隐秘关系风波，最终导致其辞去 Nvidia CEO — GaryMarcus · 2026-11-16
- Bindu Reddy：英伟达 80% 毛利难持续，注资 Neocloud 是自托需求 — bindureddy · 2026-11-15