私有化推理看板 sparkDash 2.0 开源:像运营工厂一样管 GPU
aigclink · x · 2026-10-10
MiaAI Lab 开源了 sparkDash 2.0(Apache-2.0/MIT,GitHub 已 601 star),一个面向私有化部署的多机监控看板,定位是「企业私有化 token 工厂」的产线面板。它把推理集群当工厂运营,回答四个核心问题:
- 卡在干什么? 每秒产出多少 token、卡在 decode 还是 prefill、每千 token 烧多少电花多少钱;
- 产线状态: 每台机器一张卡片,展示 GPU、CPU、统一内存、存储、网络与当前服务的模型;任何带 NVIDIA 卡的 Linux 机器都能接入,多卡主机每张卡单独显示;
- 质量监控: 换模型、换量化、换推理引擎后质量有没有掉;
- 单位成本: 持续追踪单位 token 成本。
作者团队用 4 台 DGX Spark 跑 GLM 5.3 Flash 的真实需求驱动开发,对自建算力、私有部署、追求模型主权的团队有直接参考价值。
所属事件:sparkDash 2.0 开源:私有化 GPU 集群运营看板(2 条相关)→
「Infra」频道最新
- Fireworks AI 遭内部凭据未授权使用,官方确认安全事件并展开调查 — lqiao · 2026-10-10
- ChapterPal 确认支持 Android 端离线 Gemini Nano,AI 导师可无网使用 — burkov · 2026-10-10
- 对话式 AI 或 1-2 年内过时,Agent 蜂群将推高流量千倍 — dumpshoot · 2026-10-10
- Starship 发射成本有望降至 18.5 万美元,入轨价格缩水百倍 — claud_fuen · 2026-10-10
- 数据中心明星公司 300 亿美元 IPO 梦碎，48 小时内崩塌 — mfiguiere · 2026-10-10
- DuckDB v2.0 CLI 推出 Agent 模式，token 消耗直降 59% — josh_wills · 2026-10-10