Microsoft Foundry 推 AI Gateway,统一管控流量与配额
davemccollough · x · 2026-08-28
Microsoft Foundry 发布 AI Gateway 功能,旨在将模型流量、配额、Token 限制、成本控制和治理整合到一个控制平面中。
该功能基于 Azure API Management 构建,允许用户为模型部署设置 Token 限制和配额,提升 AI 平台在生产环境中的就绪度。
「Infra」频道最新
- Meta/Google 将探讨 AI 数据中心光互连架构与能效 — jwt0625 · 2026-08-28
- Coherent-lite 在可插拔光模块能效追平 IMDD — jwt0625 · 2026-08-28
- 纯 MLX 引擎推理提速至 65 tok/s,显存需求减半 — EyalToledano · 2026-08-28
- Qwen3.8 变体实测:8 位量化显存占用降 27% — EyalToledano · 2026-08-28
- Qwen3.8 180B 级模型仅需 39GB 显存即可运行 — EyalToledano · 2026-08-28
- Nvidia 护城河在规模与供应链锁定 — firstadopter · 2026-08-28