Vercel 报告：决策模型承担 26% 网关请求，仅花 0.53% 的钱
nukebuddy · reddit · 2026-11-15
Vercel 11 月 AI Gateway 生产指数报告中被忽视的一个细节：10 月，决策类模型（分类、打分、选项判断，而非生成长文本）承担了网关 26% 的请求量，却只占 0.53% 的支出，单请求平均成本约为语言模型的 1/70。
- 约 1/3 的付费团队使用过决策模型；月处理超 100 亿 token 的大团队中这一比例达 7/10。
- 作者提醒：应把「做决策」和「生成内容」分开——判断工单归属和撰写回复是两种工作，把两者都丢给同一个大模型未必划算。
- 局限：这只是 Vercel 网关流量而非全市场；支出按牌价估算；决策模型请求几乎全部流向一家供应商（Jev）；报告也没有针对具体工作负载的独立准确率对比。
值得团队自问：流水线里哪些步骤真的需要生成文本？
「Infra」频道最新
- 曝中国四大 AI 实验室新模型均基于被禁运的英伟达 Blackwell 芯片训练 — Traditional-Chip8339 · 2026-11-15
- 阿里平头哥申请赴港上市,数据中心芯片业务分拆推进 — pstAsiatech · 2026-11-15
- 比特币矿企 MARA 拟大举抛售 BTC，筹资扩建 AI 数据中心 — Polymarket · 2026-11-15
- Epoch AI 推理性能榜：AMD MI525X 单芯片约为英伟达 GB300 两倍 — AccBalanced · 2026-11-15
- 摩根大通：Nvidia 在前沿实验室未来算力协议份额仅 39%，自 80% 以上滑落 — Gregory_C_Allen · 2026-11-15
- 用 Rust 重写 OpenCode Browse 仅花 60 美元，内存占用降数十倍 — AccBalanced · 2026-11-15