Snowflake Semi-Persistence：共享 GPU 多模型换载提速最高 19.9 倍
StasBekman · x · 2026-09-01
Snowflake AI Research 提出 Semi-Persistence 方案，解决共享 GPU 上服务多个模型的老问题：全量常驻浪费 GPU 容量，换载又必须快到不阻塞服务路径。
做法是把模型权重保存在 pinned CPU 内存池中，GPU 上的副本视为临时缓存；需求回来时，权重经 PCIe 和 NVLink 并行流回 GPU。在 2B 到 397B 参数的多档模型上，内部基准显示睡眠/唤醒周期比基线 vLLM 路径快 5.6 到 19.9 倍；单 GPU 模型的换载延迟可达亚秒级。
所属事件:Snowflake提出Semi-Persistence方案，共享GPU多模型换载提速近20倍(2 条相关)→
「Infra」频道最新
- 覆盖 Bedrock/Azure/Vertex 三万条价格，开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元，缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18
- 单卡 9060 XT 16GB 跑 Qwen3 27B：262k 上下文 42.7 tps — Maglcite · 2026-10-18
- SlateDB+Lance+Datafusion 自建数据栈,为客户年省数百万美元 — sh_reya · 2026-10-18
- 视频生成 API 每 10 秒约 0.5 美元,自建服务器何时更划算? — Key-Lychee-913 · 2026-10-18
- vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s — vllm_project · 2026-10-18