llama.cpp 新 PR:旋转 K/V 读取顺序提升 L2 缓存命中,长上下文显著提速
jacek2023 · reddit · 2026-11-17
NVIDIA 工程师 gaugarg-nv 向 llama.cpp 提交了 PR #32407「Rotate K/V read order for better L2 cache hit rates」,通过调整长上下文 prompt 处理时 K/V 数据的读取顺序来提高 L2 缓存命中率,据称能带来显著的 prompt 处理加速。改动只有 1 个文件(+64/-16 行),已有 2 个 review。对本地推理用户和长上下文场景是个值得关注的低层优化。
「Infra」频道最新
- 4.5M 参数 TTS 模型塞进 ESP32-S3,全程离线运行 — ngxson · 2026-11-17
- 45 家以上公司同时遭遇服务中断 — Serasul · 2026-11-17
- 开发者晒云账单叹做模型太贵:成果抵得上实验室 50 万至 200 万美元 — weskambale · 2026-11-17
- 开源推理引擎 Tokspur 称比 Ollama.cpp 快 4 倍,招募测试 — SimonSanDigital · 2026-11-17
- ExLlamaV3 MoE 专家卸载调优:9070XT 上 Qwen3.6 35B prefill 翻倍至 2606 t/s — willeyh · 2026-11-17
- BIS 132 页出口管制新规封堵三大漏洞:云租赁、走私与 TSMC 后门 — ChinaTalk · 2026-11-17