ngrok 推出 AI Gateway：一个 URL 同时接入自托管模型与各家 API
anthara_ai · x · 2026-09-05
ngrok 发布 AI 网关 ngrok.ai，主打「Never bet on one model」：只需把 baseURL 改为 gateway.ngrok.ai 并换用 ngrok 的 key，即可在一个网关内路由自托管本地模型与 OpenAI、Anthropic 等前沿供应商。
要点：
- 本地模型私有接入：不经公网 IP/端口映射即可路由到自托管 LLM（示例用 unsloth/Qwen3.5 GGUF，失败时回退 gpt-5.4 / claude-opus-4-6）。
- BYOK：直接填入你已有的供应商 key，按原价直接向供应商付费，统一管理。
- 访问控制：为每个应用/开发者发独立 key，限定可调用的供应商与模型。
- 可观测性：按应用、开发者、模型聚合 token、延迟、错误与成本——供应商自带的 dashboard 看不出是谁花的钱。
- 支持 OpenAI SDK、Anthropic SDK、Vercel AI SDK 兼容调用。
所属事件:ngrok 发布 AI Gateway，一个 URL 统一路由云端与本地大模型(7 条相关)→
「Infra」频道最新
- Google 开源 TorchTPU，联手 Amazon 挖角 NVIDIA 的 PyTorch 生态 — gaganghotra_ · 2026-10-21
- FastVideo 开源 FastH3 Omni：Blackwell 上实时生成快 12 倍 — multimodalart · 2026-10-21
- Anthropic IPO 草案曝光：上半年营收 163 亿美元，净亏 800 亿 — kimmonismus · 2026-10-21
- dphnAI 分布式推理网络日供 320 亿 DeepSeek tokens,约为 Venice 日量 6% — Ronangmi · 2026-10-21
- 黄仁勋:未来每家公司都将拥有两座工厂,一座真实一座数字 — round · 2026-10-21
- DeepSeek V4 被评「神级 infra + 四流 ML」:一次发布堆 7 个技巧 20 个补丁 — teortaxesTex · 2026-10-21