llama.cpp 为 Intel Arc 合入专用 Vulkan FA prefill 内核,prefill 最高提速近 9 倍

Polaris_debi5 · reddit · 2026-11-13

llama.cpp 主线合入了针对 Intel Arc 的 Vulkan Flash Attention prefill 内核(PR #29357),针对 Intel 原生矩阵核形状与 SLM 架构定制 shader(m16n16k16/SIMD32),在 ARL-H、Xe2/Xe3 等平台默认启用;因测试结果不稳定,A770 等平台暂不开启。改进同时惠及 MQA、MLA 等单 KV 头模型。实测数据:ARL-H 上 qwen3 8B prefill 从 126.58 提至 415.31 t/s,PTL-H 上 gpt-oss 20B 达 1357 t/s;B70 Pro 上 qwen3 8B 从 1064 提至 2955 t/s。B580 上 f16 prefill 提升更夸张:Gemma4 E4B +897%,Ling-3.0-tiny(hkv=1)从 76 提至 1239 t/s(+1530%),Gemma4 12B(hkv=1)+1144%。

所属事件:llama.cpp 为 Intel Arc 合入 Vulkan FA 内核,prefill 大幅提速(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →