llama.cpp 更新提升 Intel 推理性能
pmttyji · reddit · 2026-07-15
llama.cpp 最近合并了一批面向 SYCL / Intel 的更新，重点是性能和算子支持：
- 通过 oneDNN graph API 的 Flash Attention / SDPA 优化，在 Xe2 上带来明显提速；文中给出的例子是 Qwen3.6-27B-Q80，在 p=512 时预填充速度提升 1.21x，在 p=80k 时提升 4.26x。
- 另外还包括：调整 USM system allocation 的最小 buffer size、支持 OP XIELU、支持 fp16 的 conv2ddw kernel、修复 getrows 在多个量化格式下的精度问题。
整体看，这是一次很典型的本地推理栈优化：既提升 Intel 平台可用性，也直接改善长上下文预填充性能。
「Infra」频道最新
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27
- Cloudflare Durable Objects 被验证为 AI agent 高并发场景优选架构 — tristanbob · 2026-10-27
- Gary Marcus:补上 Q3 数据后，Anthropic 算力效率增速现拐点 — GaryMarcus · 2026-10-27
- 推理社区与 K8s 社区高度重合：万亿市场的 Kubernetes 翻版 — matt_slotnick · 2026-10-27
- vLLM 考虑将更多栈迁往 Rust，推理引擎 Rust 化成趋势 — AccBalanced · 2026-10-27
- 同一套 DeepSeek 内核两种优化路线：vLLM 拆专家、SGLang 降访存 — AccBalanced · 2026-10-27