QuixiAI 开源 Rust 版 LLM 网关 QuixiGate
QuixiAI 发布了用 Rust 编写的开源 LLM 网关 QuixiGate,定位为 LiteLLM 的轻量替代品,采用 MIT 许可证开源。官方强调其性能与资源占用优势,引发社区关注。值得注意的是,该项目基于 lazy-hq/aisdk 构建。
已确认
- 单个 20.1MB Rust 二进制,冷启动约 8.4ms,空闲内存约 23.7MiB,官方对比的 Python+Prisma 方案为 499MB
- 代码量约 50K 行,对比 LiteLLM 的 1.2M 行,许可证宽松(MIT)
- 支持所有主流供应商与 OpenRouter,以及 OpenAI 和 Grok 的 OAuth 订阅接入
- 本地模型方面支持 Ollama、LM Studio 和 llama.cpp,并可自动回退;llama.cpp 作者 @ggerganov 被点名致意
- 集成 OpenTelemetry
为什么重要
- Python 生态的 LLM 网关(如 LiteLLM)资源占用和冷启动开销较大,QuixiGate 以小两个数量级的代码量和显著更低的内存占用提供了替代路径,对成本敏感和追求部署简洁的团队有吸引力
- 云端与本地模型后端统一接入并支持自动回退,契合混合部署趋势
- MIT 许可与数据自主(可自托管)的组合降低了采用门槛
2026-11-14 ~ 2026-11-14 · 5 条相关
一手来源
- QuixiGate:20MB 单二进制 Rust 版 LiteLLM 替代品，MIT 开源 — QuixiAI ·
- Rust 版 LLM 网关 QuixiGate 发布:单二进制冷启动 8ms,内存仅 24MiB — QuixiAI ·
- 【源头】Rust 版 LLM 网关 QuixiGate 发布:单二进制冷启动 8ms,内存仅 24MiB — QuixiAI · 2026-11-14
- QuixiGate：Rust 打造的高速 LLM 网关，支持本地模型 — QuixiAI · 2026-11-14
- Rust 版 QuixiAI 支持 Ollama、llama.cpp 等本地模型并可自动回退 — QuixiAI · 2026-11-14
- Rust 版 LiteLLM 网关亮相：约 5 万行代码对比 LiteLLM 120 万行 — QuixiAI · 2026-11-14
另有 1 条近重复转述:QuixiAI