弱鸡 ARM 跑大模型：KV 缓存持久化让首 Token 提速 15 倍
Annual_Manner_5901 · reddit · 2026-08-03
作者在零成本的 Oracle 免费 ARM 机器（4核）上测试发现，CPU 推理的瓶颈在于 prefill 阶段。通过将 KV 缓存持久化到磁盘，新进程可直接读取缓存，将 3356 token 的 prefill 时间从 54.4 秄降至 3.5 秒（读取内存页缓存仅需 0.1 秒）。
踩坑与失败尝试
- 发现 speculative decoding（投机解码）与预热缓存存在冲突，导致缓存形同虚设。
- 尝试将 MoE 模型的活跃专家减半，虽然 prefill 提速 44%，但会悄悄破坏 KV 缓存导致准确率下降。
意外有效的优化
- 将输入文本重写为 label: value 格式，不仅 token 数骤降，首字响应（TTFT）大幅缩短，且事实提取准确率提升。
- 将词表从 15 万裁剪至 3.2 万，实现了 17.8% 的解码提速且完全无损。项目已开源。
「Infra」频道最新
- 作者实测 2×GB10 本地调优 GLM-5.3-Flash：解码速度提升近 20% — EAccelerate_42 · 2026-10-16
- 开发者用3台DGX Spark组本地集群跑GLM-5.3-Flash,配代理均衡日生175万token — Teknium · 2026-10-16
- Optuna 作者秋叶哉：花3亿日元调2个超参的时代，BO/HPO 还有何用武之地 — Stefania_druga · 2026-10-16
- Amazon 发布生产级 RAG 缓存方案：逐请求校验证据复用，零无效命中 — _reachsumit · 2026-10-16
- LinkedIn 推出 TransX:推荐系统序列转导框架,CTR 提升 6.02% — _reachsumit · 2026-10-16
- llama.cpp 新 PR 优化 AVX2 分块累加器,纯 CPU 推理再提速 — jacek2023 · 2026-10-16