范式与 RiseUnion 开源 ModelSphere:面向混合 GPU 集群的 LLM 部署平台
Codeblix_Ltd · reddit · 2026-10-17
Phancy Group(范式)与 RiseUnion 发布开源项目 ModelSphere(Apache 2.0,已上 GitHub),定位是生产级 LLM 部署控制平面而非新模型或聊天应用。
- 基于 Kubernetes、Helm、SGLang、vLLM 做生产推理服务
- README 宣称支持自动扩缩容、缓存感知请求路由、共享 KV cache、多加速器家族、服务中断后恢复进行中的生成(均为项目自述,无独立基准)
- 快速上手需要现成的 Kubernetes 集群及 kubectl、Helm、helmfile、helm-diff
适合需要模型服务控制平面的团队,但多了一层运维负担;目前社区讨论还很少,反响待观察。
「Infra」频道最新
- Modal 揭秘速度护城河:分层分布式文件系统 ImageFS — dejavucoder · 2026-10-17
- 别在笔记本上跑 Agent 集群:16GB 内存跑多 Agent 分分钟死机 — ConceptNext5110 · 2026-10-17
- AI 做片瓶颈在渲染:5898 帧要跑 7 小时,博主愿每月付数千美元提速 — rileybrown · 2026-10-17
- NVIDIA RTX Spark 笔记本开售:128GB 统一内存可本地跑前沿模型 — steipete · 2026-10-17
- 3 倍做多半导体 ETF 单周吸入 38 亿美元,创历史纪录 — toptickcrypto · 2026-10-17
- Strata 让十年老卡复活:双 Maxwell GPU 跑本地 LLM 达 150 tk/s 预填充 — jmuff98 · 2026-10-17