Google 论文:量化小模型冷启动 55-70% 延迟耗在加载权重
rohanpaul_ai · x · 2026-09-24
Google 发表论文,系统实测了量化小语言模型在 Cloud Run 无服务器 CPU 上的冷启动表现。
核心发现:
- 模型加载占冷启动时间的 55-70%,瓶颈在于把权重搬进内存,而非推理本身
- 8 GiB 内存档位隐藏 2× vCPU 优势,几乎可将 warm 推理时间减半
- Q4KM 量化在延迟、吞吐与质量(以 WikiText-2 困惑度验证)上达到 Pareto 最优
- 基于三个预测变量建立了 R²=0.97 的延迟模型,并给出盈亏平衡成本分析
实验范围: 5 个模型(270M-3.8B)、4/8 GiB 两档内存、Q2K 到 Q80 五种 GGUF 量化格式,基于 llama.cpp。对想在无服务器平台部署小模型的开发者是实用的选型参考。
所属事件:Google 论文：量化小模型冷启动 55-70% 时间耗在加载权重(2 条相关)→
「Infra」频道最新
- 微软 SC26 将揭秘 Maia 加速器:日服务数万亿 token 的数据流设计 — thoefler · 2026-11-12
- ClickHouse 收购 Xata 并发布 Managed Postgres,客户超 5000 家 — CShorten30 · 2026-11-12
- 2026 中期选举 41 项数据中心公投 40 项倒向反 AI 建设方 — Acceptable-Offer-518 · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- CoRL 会场同址开天然气论坛,主题直指 AI 数据中心供电 — carlosdponx · 2026-11-12
- a16z 播客：Mike Volpi 从 Cisco 70+ 并购经验谈 AI 基建周期 — a16z · 2026-11-12