llama.cpp 新 PR:旋转 K/V 读取顺序提升 L2 缓存命中,长上下文显著提速

jacek2023 · reddit · 2026-11-17

NVIDIA 工程师 gaugarg-nv 向 llama.cpp 提交了 PR #32407「Rotate K/V read order for better L2 cache hit rates」,通过调整长上下文 prompt 处理时 K/V 数据的读取顺序来提高 L2 缓存命中率,据称能带来显著的 prompt 处理加速。改动只有 1 个文件(+64/-16 行),已有 2 个 review。对本地推理用户和长上下文场景是个值得关注的低层优化。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →