Google 论文：量化 LLM 冷启动延迟 55–70% 耗在加载权重而非推理
rohanpaul_ai · x · 2026-09-24
Google 新论文发现，在 serverless CPU 上运行小型量化 LLM 时，55–70% 的冷启动延迟来自模型加载——瓶颈在于把权重搬进内存，而不是生成 token 本身。一个直接可用的结论：给同一模型 8GB 而非 4GB 的 Cloud Run 内存，可解锁约 2 倍 CPU，warm 推理时间几乎减半。
所属事件:Google 论文：量化小模型冷启动 55-70% 时间耗在加载权重(2 条相关)→
「Infra」频道最新
- Starlink 美国城市用户增速 73% 反超农村，上传速度提升 42% — XFreeze · 2026-11-11
- Cloudflare 采用未经实战的共识算法 QuePaxa,替代 Raft/Paxos 建 Meerkat — sull · 2026-11-11
- 用 AI 扫遍全美废弃商场，改造成数据中心的脑洞 — LinusEkenstam · 2026-11-11
- Anthropic S-1 曝 260 亿美元私募：七大供应商按 IPO 价入股 — demian_ai · 2026-11-11
- SpaceXSI 1.2GW 燃气电厂获密西西比州环保许可,为 Colossus II 供能 — XFreeze · 2026-11-11
- Anthropic 称用 AI 3 天完成 AMD GPU 移植,动摇 Nvidia CUDA 护城河 — The Decoder · 2026-11-11