llama.cpp 更新提升 Intel 推理性能
pmttyji · reddit · 2026-07-15
llama.cpp 最近合并了一批面向 **SYCL / Intel** 的更新，重点是性能和算子支持： - 通过 oneDNN graph API 的 Flash Attention / SDPA 优化，在 Xe2 上带来明显提速；文中给出的例子是 **Qwen3.6-27B-Q8_0**，在 **p=512** 时预填充速度提升 **1.21x**，在 **p=80k** 时提升 **4.26x**。 - 另外还包括：调整 USM system allocation 的最小 buffer size、支持 OP XIELU、支持 fp16 的 conv2d_dw kernel、修复 `get_rows` 在多个量化格式下的精度问题。 整体看，这是一次很典型的本地推理栈优化：既提升 Intel 平台可用性，也直接改善长上下文预填充性能。