Rust 写的开源 AI 网关 Respan:延迟比 LiteLLM 低 78 倍,内存省 15 倍
steren · x · 2026-10-21
开源项目 Respan Gateway(作者 steren 推荐)主打「最后一个 AI 网关」:用一个自托管端点统一路由 LLM、图像、视频、实时语音以及网页搜索、长期记忆等 MCP 工具,每项能力都是一个可插拔开关。
与同机 LiteLLM 的对比数据:- 新增延迟 0.08ms vs 5.9ms(低 78 倍);- 50 并发下 61,062 vs 1,348 req/s(高 45 倍,后者为 14 worker);- 内存 33MB vs 494MB(省 15 倍)。全 Rust 实现,MIT/Apache-2.0 协议。可打包为容器部署到 Vercel Fluid compute,随流量自动扩缩、空闲缩容到零。对需要统一多模型接入、自建推理入口的团队是值得评估的新选择。
「编程与Agent」频道最新
- 博主观点:需要「Agent GitHub」管理智能体的版本、权限与记忆 — yangyi · 2026-10-21
- Kapitsa 0.2 发布 KFlash 树搜索投机解码,M4 Pro 上跑赢 Splash 达 63 tok/s — DotaMate · 2026-10-21
- 开发者预言 2027 将是 vibe coding 游戏最好玩的一年 — TAbrodi · 2026-10-21
- Hamel Husain 看了 48 小时公开 benchmark trace:质量差到令人难以置信 — HamelHusain · 2026-10-21
- 开发者吐槽:Claude 犯错从不受阻,修自己的错却被拦下 — cjimti · 2026-10-21
- 把工作流编译进模型权重:用 LoRA 微调小模型替代长 prompt — arpit_bhayani · 2026-10-21