SGLang 推出权重缓存守护进程，万卡模型重启加速 16 倍
xiaosun86 · x · 2026-08-22
SGLang 联合蚂蚁与阿里推出了 Weight Cache Daemon，通过 CUDA IPC 零拷贝技术将模型权重常驻 GPU 内存。实测在 Ling-2.6-1T FP8 模型上，权重加载从 495 秒降至 0.63 秒，总启动时间从 8.8 分钟缩减至 32 秒，提速约 16 倍。
核心机制：
- 持久化缓存：独立守护进程持有量化后的权重，无需重复磁盘 I/O 和后量化。
- 零拷贝映射：新引擎实例直接映射现有显存，实现毫秒级加载。
- 多实例共享：同一 GPU 上的多引擎实例共享同一份权重，节省显存。
- 高可用支持：支持主备秒级切换和优先级共服务。
该方案是快速引擎恢复框架的首个阶段，旨在实现生产环境下 10 秒级冷重启和 1 秒级热备切换。
「Infra」频道最新
- 黄仁勋做客 BG2 播客:谈 AI 收入能否撑起 Capex 与 2027 瓶颈 — elonmusk · 2026-10-16
- Mistral 本地推理基建机架曝光:DGX Spark、Mac Studio 等混搭 — gregmushen · 2026-10-16
- 英伟达携手瑞典 Wallenberg，Launch 共享 AI 超算 Sferical One — nvidia · 2026-10-16
- 基础设施下一站:能自我进化、自我验证的自适应系统 — _shreya_s · 2026-10-16
- 小米 MiMo RL 训练曝光:30 步花掉 347 万美元 — bycloud · 2026-10-16
- Cerebras 用异构 prefill 池喂晶圆级引擎，解码速度与 batch 解耦 — ai · 2026-10-16