Snowflake提出Semi-Persistence方案,共享GPU多模型换载提速近20倍
Snowflake AI Research 提出 Semi-Persistence 方案,解决共享 GPU 上服务多个模型的难题:让模型全量常驻会浪费 GPU 容量,而频繁换载又可能阻塞服务。该方案引入 CRIU 检查点技术,在共享 GPU 环境下实现高效的模型换入换出,多模型换载速度最高提升 19.9 倍,兼顾容量利用与服务响应。
2026-09-01 ~ 2026-09-01 · 2 条相关
- Snowflake Semi-Persistence:共享 GPU 多模型换载提速最高 19.9 倍 — StasBekman · 2026-09-01
- Snowflake 新研究:共享 GPU 多模型服务的 Semi-Persistence 方案 — bookwormengr · 2026-09-01