ngrok 推出 AI Gateway：一个网关同时接云端模型与本地 LLM
s_mohinii · x · 2026-09-04
ngrok 发布 AI Gateway，把各家前沿模型 API 与自托管模型统一到一个托管网关里：
- 一个 URL、任意 SDK：把 baseURL 改成 gateway.ngrok.ai、换上 ngrok 的 key，OpenAI/Anthropic/Vercel AI SDK 无需改动代码即可路由；支持主模型 + 备选模型列表的 fallback。
- 本地模型私有接入：笔记本上的 Ollama、服务器上的 vLLM、防火墙后的微调模型都能直连，无需公网 IP、开端口或 VPN。
- BYOK 与访问控制：沿用已付费的各家 key，按应用/开发者分配范围受限的 access key，限定可调用的 provider 与模型。
- 可观测性：统一看到每次调用的 token、延迟、错误与成本，按应用/开发者/模型归因，而不仅是 provider 侧的消费总额。
适合不想为多模型维护多套 API、key、SDK 和账单的开发者，尤其需要在私有环境跑模型又想混用云端前沿模型的团队。
所属事件:ngrok 发布 AI Gateway，一个 URL 统一路由云端与本地大模型(7 条相关)→
「编程与Agent」频道最新
- OpenAI Live API 实用技巧：后端 sideband 连接免代理管住语音会话 — pbbakkum · 2026-10-21
- OpenAI 多语言编程基准 MultiLangBench：PHP 拿下单项最高 91.3% — ricklamers · 2026-10-21
- AI 自动优化生物信息代码：关键函数从 7.8 秒提速到 0.35 秒 — jmschreiber91 · 2026-10-21
- UserProof 让 Claude Code 直播观看用户会话录像并给出转化优化建议 — doooyle · 2026-10-21
- dphnAI 分布式推理网络日供 320 亿 DeepSeek tokens,约为 Venice 日量 6% — Ronangmi · 2026-10-21
- Superconductor 推出 agent 选择器:一键检索 8 款编码 agent 并行对比 — sergeykarayev · 2026-10-21