Vercel AI Gateway 推出 priority 和 flex 两档服务
cramforce · x · 2026-07-22
这条帖子在讨论 Vercel AI Gateway 的新服务层级：如果你的 AI 工作负载是“后台跑、睡觉时也在干活”的软件工厂，就可以改用更便宜的 token，接受稍慢一点的执行速度。
引用里提到 Vercel 现在提供两个层级：
- priority：追求最快 token 吞吐
- flex：面向更敏感成本、但对延迟更宽容的请求
这类信息的重点是：AI 推理服务开始更明确地把 成本/延迟 做成可选档位，方便按任务类型做取舍。
「Infra」频道最新
- WSJ：英伟达商谈为 OpenAI 数据中心计划提供约 2500 亿美元背书 — KateClarkTweets · 2026-07-27
- YC 演讲谈 BCI × AI：真正决定速度的是基础设施 — garrytan · 2026-07-27
- 13B 模型靠 SSD 分页在无独显电脑上离线跑通 — ID_R_McGregor · 2026-07-27
- llama.cpp 提醒：旧版 GGUF 在新改动后必须重生成 — EconomySerious · 2026-07-27
- 5090 本地测试：80k 上下文下 Qwen Q6 速度掉到 15 tok/s — LFAdvice7984 · 2026-07-27
- Ubuntu 部署惊艳实测：5090 显卡成最易配置的 AI 设备 — _xjdr · 2026-07-27