QuixiAI 开源高性能推理服务 SlimServe
QuixiAI · x · 2026-08-29
QuixiAI 开源了名为 SlimServe 的项目，这是一个高性能的推理服务框架。项目仓库包含大量 commits，涉及构建系统、Docker、基准测试、文档以及 vllm 集成等，显示该项目具有相当的活跃度和功能完备性。
「Infra」频道最新
- NXP 豪赌 2027：后量子安全覆盖最廉价工业边缘设备 — shashib · 2026-08-29
- 在 RP2350 微控制器上实现极简版 SD3 生成人脸 — cpldcpu · 2026-08-29
- Hippius Hub 上线：基于 Bittensor 的去中心化模型库 — markjeffrey · 2026-08-29
- 高通 AI200 芯片被曝“只谈功耗不谈性能”引群嘲 — examachine · 2026-08-29
- 拆解 LLM Prefill 与 Decode 分离：硬件不同结果迥异 — vllm_project · 2026-08-29
- 升级推理引擎获 43% 提速，架构实现是关键 — colinmcnamara · 2026-08-29