DGX Spark 实测:SGLang 仅用 65GB 跑 Inkling 2 Mini,快 vLLM 一倍

AIFlow_ML · x · 2026-11-22

据 @fullctx 实测,在 128GB 统一内存的 DGX Spark 上运行 Inkling 2 Mini:SGLang 只需 65GB 内存,vLLM 则要 105GB;对 15.6k token 提示词的 prefill 时间为 4.48 秒 vs 9.23 秒,SGLang 快约一倍。

SGLang 方案还能省下约 40GB 余量,可在模型旁边跑 agent 和工具链,作者认为单凭这点就值得选 SGLang。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →