ngrok AI Gateway：本地模型与云端大模型走同一网关路由
anthara_ai · x · 2026-09-04
ngrok 推出的 AI Gateway 主打「不押注单一模型」：把自托管模型和各家前沿厂商统一接入一个托管网关，内置可观测性与访问控制。
用法极简：把 SDK 的 baseURL 换成 https://gateway.ngrok.ai、改用 ngrok 的 API key 即可，OpenAI/Anthropic/Vercel AI SDK 均兼容；请求里可先路由到自托管模型（如本地跑的 Qwen GGUF），失败时回落到 gpt-5.4、claude-opus-4-6 等云端模型。
核心能力：
- 本地 LLM：无需公网 IP 或开放入站端口，即可把任意可达的本地模型接入网关，保持私有连接；
- BYOK：直接填入你已有的 OpenAI/Anthropic 等 key，费率不变、统一管理；
- 访问控制：为每个应用/开发者发独立 key，并限定可调用的厂商与模型；
- 可观测性：跨所有调用聚合 token、延迟、错误与成本，按应用/开发者/模型维度看花费，而非只看厂商账单。
所属事件:ngrok 发布 AI Gateway，一个 URL 统一路由云端与本地大模型(7 条相关)→
「编程与Agent」频道最新
- OpenAI Live API 实用技巧：后端 sideband 连接免代理管住语音会话 — pbbakkum · 2026-10-21
- OpenAI 多语言编程基准 MultiLangBench：PHP 拿下单项最高 91.3% — ricklamers · 2026-10-21
- UserProof 让 Claude Code 直播观看用户会话录像并给出转化优化建议 — doooyle · 2026-10-21
- dphnAI 分布式推理网络日供 320 亿 DeepSeek tokens,约为 Venice 日量 6% — Ronangmi · 2026-10-21
- Superconductor 推出 agent 选择器:一键检索 8 款编码 agent 并行对比 — sergeykarayev · 2026-10-21
- Metaphor 云端编码 Agent 称比 Claude Code 少用 25% token — Scobleizer · 2026-10-21