Snowflake 新研究:共享 GPU 多模型服务的 Semi-Persistence 方案
bookwormengr · x · 2026-09-01
Snowflake AI Research 发布新成果,引入 CRIU 技术解决共享 GPU 上多模型服务难题。
- 痛点:单模型服务简单,但在共享 GPU 上服务多个模型时,全部常驻加载会浪费 GPU 容量;而换入换出模型只有足够快、不阻塞服务路径才有意义。
- 方案:Semi-Persistence 将模型权重保留在锁定的 CPU 内存(pinned CPU-mem)中,兼顾显存利用率与切换速度。
所属事件:Snowflake提出Semi-Persistence方案，共享GPU多模型换载提速近20倍(2 条相关)→
「Infra」频道最新
- MIT 团队实测:agent 编码用量若按 API 计费每月高达 4 万美元 — ChrisRackauckas · 2026-10-18
- 越狱 PS5 跑 llama.cpp:开源 PS5LM 让主机变身家庭本地 LLM 服务器 — wateriscoding · 2026-10-18
- DFB 激光器耦合薄膜铌酸锂芯片：最高 170mW、阈值仅 40-45mA — jwt0625 · 2026-10-18
- 5070 Ti 外挂 3070 混搭跑 Qwen 35B 达 82 tok/s — hereforcheesee · 2026-10-18
- 中国在建/规划功率半导体晶圆厂达 69 座,遍布 58 家厂商 — zephyr_z9 · 2026-10-18
- 研究测算：AI 数据中心每年需 3.5 万亿美元收入才能撑住 — TheseFact · 2026-10-18