GKE Pod snapshots 将 AI 推理冷启动缩短 89%,70B 模型 37 秒加载
rseroter · x · 2026-09-22
- Google Cloud 推出 GKE Pod snapshots,可保存工作负载运行状态(含 CPU/GPU 内存),并按需恢复,替代完整重启。
- 冷启动最高降低 89%:70B 参数模型 37 秒即可加载,8B 模型仅需 15 秒。
- 背景痛点:推理服务器需将数 GB 权重载入 GPU 内存,通常耗时数分钟;agentic 工作负载(代码执行、computer use)还需为每个请求快速启动隔离沙箱,启动延迟拖累体验与自动扩缩容,迫使企业过度配置资源。
- 通过「恢复而非重启」,可显著减少过度配置,让基础设施按需快速扩缩。
「Infra」频道最新
- 推理芯片公司 Fractile 融资 7.2 亿美元，Thrive 与 Founders Fund 领投 — Tom_Westgarth15 · 2026-11-12
- 独立开发者用 Rust 写整套 AI OS：无头运行，跑 Qwen3 27b 比 Ubuntu 快 — W61k3r · 2026-11-12
- OpenRouter 新路由算法见效:GLM 5.3 Flash 首字延迟降 40%、单价降 17% — AccBalanced · 2026-11-12
- AMD 与 Dell 拿下 182 项世界纪录，EPYC 性能提升 94% — AccBalanced · 2026-11-12
- KubeCon 主题演讲：计算系统正从人类速度转向 Agent 速度 — HowDevelop · 2026-11-12
- 曝 Meta 基础设施负责人 Santosh Janardhan 将于 2027 年初离职 — dinabass · 2026-11-12