两台 DGX Spark 本地跑 321B 模型,819K 上下文缓存可跨重启

AIFlow_ML · x · 2026-11-22

@greatYiTin 用两台 DGX Spark 跑 Sage-S2.1-Flash 模型,实现最高 37 tok/s 的生成速度,首 token 延迟仅 0.16 秒,支持 819K token 的上下文窗口。

最值得关注的细节是 prompt cache 在重启后仍能保留——长上下文场景下,每次崩溃后重建巨大缓存才是真正的痛点,这项特性显著提升了本地部署长上下文推理的实用性。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →