Snowflake提出Semi-Persistence方案,共享GPU多模型换载提速近20倍

Snowflake AI Research 提出 Semi-Persistence 方案,解决共享 GPU 上服务多个模型的难题:让模型全量常驻会浪费 GPU 容量,而频繁换载又可能阻塞服务。该方案引入 CRIU 检查点技术,在共享 GPU 环境下实现高效的模型换入换出,多模型换载速度最高提升 19.9 倍,兼顾容量利用与服务响应。

2026-09-01 ~ 2026-09-01 · 2 条相关