Patapsco 开源集群推理平台:单卡 DGX Spark 到百节点 B200 都能跑
tekbog · x · 2026-09-10
Patapsco AI 推出做了一年的开源平台(beta),让社区在集群上运行多副本大模型。特性包括 KVCache 感知的负载均衡、API 聚合、VSCode 扩展、自建流缓存文件系统等,支持从单节点 DGX Spark 到 100 节点 B200 集群,已跑 Kubernetes 可直接部署,并提供 pailab 工具把集群搭成服务,免费下载使用。
「Infra」频道最新
- Flux 2 Klein 跑进浏览器：WebGPU 实验版已可在线试用 — radamar · 2026-09-10
- 卖 AI 服务器导轨的川湖科技创始人成台湾首富，身家 178 亿美元 — rwang07 · 2026-09-10
- SF Compute:转售闲置算力让客户平均省下 25%,每小时省约 1 美元 — mattshumer_ · 2026-09-10
- 分析称 Meta 硬件储备领先，个人 agent 赛道或比 OpenAI 更激进 — zephyr_z9 · 2026-09-10
- 双 3090 跑 Qwen3 MoE：预填加速 2.5 倍的专家缓存换位法 — Extension-Bid-639 · 2026-09-10
- 阶跃星辰发布 Φ-Bench：大模型能否自己造出供养它们的 Infra — stepfun-ai · 2026-09-10