Rust 版 LLM 网关 QuixiGate 发布:单二进制冷启动 8ms,内存仅 24MiB
QuixiAI · x · 2026-11-14
QuixiAI 发布了用 Rust 编写的开源 LLM 网关 QuixiGate,主打极致性能与数据自主:支持所有主流 provider、OpenRouter,以及 OpenAI 和 Grok 的 OAuth 订阅接入,并集成 OpenTelemetry 与 Arize Phoenix 可观测性,提供 UI 和 headless 两种模式。附带的基准测试(在 Apple M5 Max 上与 LiteLLM v1.109.1 对比)显示:冷启动 8.4ms 对 LiteLLM 的 4,224ms(快 503–1972 倍);空闲内存 23.7MiB 对 941MiB(省 40–504 倍);无状态 JSON 吞吐 70,690 req/s,约为 LiteLLM 18 worker 最优配置的 29 倍;治理密钥 + $1M 预算场景下 JSON p50 仅 0.84ms,1,000 路 GPU 流转发达 974,742 tok/s 且零错误。适合想要自托管、不依赖 Postgres/Redis 全家桶的团队。
所属事件:QuixiAI 开源 Rust 版 LLM 网关 QuixiGate(5 条相关)→
「编程与Agent」频道最新
- 11 天收 $6,100：用 Claude Code 接企业自动化外包单 — aryanXmahajan · 2026-11-14
- 测试工程师 Prompt：让 AI 全面设计单元/集成/E2E 测试策略 — hey_abusiddik · 2026-11-14
- 把 Claude 当资深工程师用：8 条可直接复制的编程 prompt — hey_abusiddik · 2026-11-14
- Amazon 内部 agent 蜂群 4 个晚上复刻 200+ AWS 服务到笔记本 — blaizedsouza · 2026-11-14
- Muse Spark 1.3 有 6 档推理力度：agent 每步该花多贵，多数人没认真选 — Suresh935 · 2026-11-14
- 用户盛赞 Claude Max 是年度最佳投资：Fable 已催生数千家创业公司 — EXM7777 · 2026-11-14