llama.cpp 为 Intel Arc 合入专用 Vulkan FA prefill 内核,prefill 最高提速近 9 倍
Polaris_debi5 · reddit · 2026-11-13
llama.cpp 主线合入了针对 Intel Arc 的 Vulkan Flash Attention prefill 内核(PR #29357),针对 Intel 原生矩阵核形状与 SLM 架构定制 shader(m16n16k16/SIMD32),在 ARL-H、Xe2/Xe3 等平台默认启用;因测试结果不稳定,A770 等平台暂不开启。改进同时惠及 MQA、MLA 等单 KV 头模型。实测数据:ARL-H 上 qwen3 8B prefill 从 126.58 提至 415.31 t/s,PTL-H 上 gpt-oss 20B 达 1357 t/s;B70 Pro 上 qwen3 8B 从 1064 提至 2955 t/s。B580 上 f16 prefill 提升更夸张:Gemma4 E4B +897%,Ling-3.0-tiny(hkv=1)从 76 提至 1239 t/s(+1530%),Gemma4 12B(hkv=1)+1144%。
所属事件:llama.cpp 为 Intel Arc 合入 Vulkan FA 内核,prefill 大幅提速(2 条相关)→
「Infra」频道最新
- SGLang Summit 议程曝光:LinkedIn 广告模型 10K QPS 延迟低于 80ms — DavidBennett__ · 2026-11-13
- 梗图科普:CUDA 就是为并行许多 Alice Huang 而优化 — djcows · 2026-11-13
- Perplexity Mac 版惊现本地模型选项,桌面端或将支持离线运行 — dnlkwk · 2026-11-13
- 2-bit DeepSeek V4.1 Flash 在双 V100 上跑编码 agent:12 小时实测 — a4mula · 2026-11-13
- IBM QDC 2026 发布 Nighthawk r2 量子芯片与容错开发工具链 — MJBiercuk · 2026-11-13
- 黄仁勋为何与美国前沿实验室对着干:开源、出口管制与生意逻辑 — morganlai · 2026-11-13