PROCS 快照压缩论文：恢复到首 token 延迟最高降 44.7%
charles_irl · x · 2026-11-04
Doubleword 与牛津、NVIDIA 等机构合作发表论文《Parallel Restore-Optimized Snapshot Compression for Cost-Efficient Inference Serving》，针对推理服务的冷启动开销（KV cache profiling、CUDA graph 构建）：
- 核心方法 PROCS：对 CRIU 容器快照做并行、恢复优化的压缩——按 VMA 边界把页面组织成可寻址块，支持部分/增量读取，用可复用 worker 并行恢复私有映射、内存文件与匿名共享内存，并在恢复全程保持 CPU 与缓冲区的宽限限制。
- 实测数据：基于 CRIU-GPU 实现，评测 5 个 SGLang 推理模型。256 KiB 块 + 串行恢复下，快照体积缩小 12.5–45.5%，恢复到首个 token 的延迟降低 7.2–44.7%；4 MiB 块进一步把体积降 62%、checkpoint 时间降 12.4%；对 Qwen3.5 27B FP8 将解压并行度提到 16 线程后，恢复延迟再降 25.8%。
- 落地价值：Every 前沿团队成员转发称，其推理实验室正用这类研究在自动扩缩容时缩短冷启动，GPU 一启动就能立刻产出 token。
「Infra」频道最新
- OpenClaw 用自适应测试将月度 CI 账单砍掉 95%,原近 100 万美元 — vincent_koc · 2026-11-04
- GlobalWafers 各尺寸硅晶圆产能全满，2027 年起 ASP 有望上涨 — BenBajarin · 2026-11-04
- 黑五临近，Reddit 求推荐轻中量级本地推理的性价比主机配置 — f1yingbanana · 2026-11-04
- Claude Code 用户想本地化：OpenCode、Codex 还是 Claude Code 接本地模型端点？ — Generic_Name_Here · 2026-11-04
- Ramp 数据：Google 模型缓存 token 占比不足对手一半，Agent 使用落后 — Sufficient-Bat-9880 · 2026-11-04
- 曝马斯克囤变压器近两年,还买下燃气轮机租赁公司备战 AI 算力 — PTrubey · 2026-11-04