DGX Spark 实测:SGLang 仅用 65GB 跑 Inkling 2 Mini,快 vLLM 一倍
AIFlow_ML · x · 2026-11-22
据 @fullctx 实测,在 128GB 统一内存的 DGX Spark 上运行 Inkling 2 Mini:SGLang 只需 65GB 内存,vLLM 则要 105GB;对 15.6k token 提示词的 prefill 时间为 4.48 秒 vs 9.23 秒,SGLang 快约一倍。
SGLang 方案还能省下约 40GB 余量,可在模型旁边跑 agent 和工具链,作者认为单凭这点就值得选 SGLang。
「Infra」频道最新
- prime-rl 0.11.0 发布:训练提速最高 1.5 倍,新增预训练入口 — samsja19 · 2026-11-22
- 每 GPU 日产 646 亿 token:一组数字推演 AI 算力过剩假说 — bookwormengr · 2026-11-22
- 长江存储闪存品牌致态高调亮相韩国游戏展 G-Star — terryyuezhuo · 2026-11-22
- 推理优化 Agent Skill 开源:1.7k 星,实测提速 30% 到 5 倍 — CatAstro_Piyush · 2026-11-22
- 「MoE 是数据中心架构,循环 Transformer 是笔记本架构」引热议 — andreisavu · 2026-11-22
- H100 租金涨势终结:6 月后算力与 token 价格同步下跌 — AIFlow_ML · 2026-11-22