开源 LLM 网关 RouteHub 发布:导入速度比 LiteLLM 快 190 倍
KyeGomezB · x · 2026-10-10
Swarms 公司推出开源 LLM 网关 RouteHub,主打性能:
- 通过单一 API 接入 20+ 家 LLM 提供商,支持流式输出、异步执行与工具调用。
- 官方基准:导入速度比 LiteLLM 快最高 190 倍,首字响应快 5.5 倍,单次调用开销显著更低。
「Infra」频道最新
- 曝 DeepSeek v4.1 长上下文提速：32K prefill 吞吐提升约 40% — HankYeomans · 2026-10-11
- 先进封装推高缺陷成本,晶圆级老化测试成 GPU 时代新刚需 — BenBajarin · 2026-10-11
- 光学测试成 CPO 规模部署最大瓶颈:探针与自动化难题解析 — BenBajarin · 2026-10-11
- Cboe 前总部将改建为 33MW 数据中心,租金远超普通写字楼 — deanwball · 2026-10-11
- 微软开源 bitnet.cpp:1-bit 推理框架可在 CPU 上跑 100B 模型 — HildeKuehne · 2026-10-11
- 高通 CEO:AI 公司要在 2028 年让手机常驻运行千亿参数模型 — zephyr_z9 · 2026-10-11