两台 DGX Spark 本地跑 321B 模型,819K 上下文缓存可跨重启
AIFlow_ML · x · 2026-11-22
@greatYiTin 用两台 DGX Spark 跑 Sage-S2.1-Flash 模型,实现最高 37 tok/s 的生成速度,首 token 延迟仅 0.16 秒,支持 819K token 的上下文窗口。
最值得关注的细节是 prompt cache 在重启后仍能保留——长上下文场景下,每次崩溃后重建巨大缓存才是真正的痛点,这项特性显著提升了本地部署长上下文推理的实用性。
「Infra」频道最新
- ECB 查出 AI 行业 4.5 万亿美元隐性债务,较上年统计高 287% — Actual__Wizard · 2026-11-22
- 纯 Rust GGUF 引擎 RustingStrata 在 RTX 3060 上跑 Inkling 2 Mini,生成速度达 llama.cpp 3.5 倍 — Serious_Scarcity7818 · 2026-11-22
- 推理服务商自建 GPU 卖开源模型,价格比大平台低 60% — natolambert · 2026-11-22
- Hugging Face 工程师 ngxson 发布博客:涵盖 llama.cpp OCR、AI 编程等文章 — ngxson · 2026-11-22
- Alchemy Run 的 distilled SDK 性能反超官方 AWS SDK v3 — samgoodwin89 · 2026-11-22
- 德州恢复数据中心环评审批,SpaceX 43 台发电机获批 — PTrubey · 2026-11-22