llama.cpp 为 Intel Arc 合入专用 Vulkan FA prefill 内核,最高提速 15 倍
Polaris_debi5 · reddit · 2026-11-13
llama.cpp master 已合入面向 Intel Arc/Xe 的专用 Vulkan Flash Attention prefill 内核(PR #29357),利用 Intel 原生矩阵核心形状与 SLM 架构定制着色器(m16n16k16/SIMD32),并扩展到 MQA/MLA 等单 KV 头模型。因测试结果不一致,A770 等平台暂未启用。
关键性能数据(pp8192/pp16384):
- ARL-H Windows:qwen3 8B prefill 从 126.58 → 415.31 t/s(约 3.3 倍)。
- B70 Pro Windows:qwen3 8B 从 1064.67 → 2955.83 t/s;gpt-oss 20B 从 2311 → 3967 t/s。
- Intel Arc B580 (pp16384):Gemma4 E4B 从 116 → 1157 t/s(+897%);单 KV 头模型提升最猛——Ling-3.0-tiny +1530%(76→1239 t/s),Gemma4 12B +1144%(52→649 t/s)。
- 其余主流 8B 级模型普遍提升 40%-140%。
对 Intel Arc 显卡本地部署用户是重大推理提速更新。
所属事件:llama.cpp 为 Intel Arc 合入 Vulkan FA 内核，prefill 大幅提速(2 条相关)→
「Infra」频道最新
- 微软宕机原因确认：变更验证致大量服务器失去响应 — Kyrannio · 2026-11-13
- 算力从未免于过剩：转发者称不懂数周期的人是在捐赠 — McDonaghMatthew · 2026-11-13
- AWS 实测 Bedrock 省钱四参数：缓存 TTL、Flex 档、思考力度与 maxTokens — AWS ML Blog · 2026-11-13
- Cloudflare Workers 限流 API 升级：一次调用可消耗多个额度单位 — ritakozlov · 2026-11-13
- RL 圈讽喻热帖：解耦生成与训练并非免费吞吐，staleness 不是舍入误差 — willcb · 2026-11-13
- 开源 WakeGPU:把 Colab 远程 GPU 变成自动待机关停的本地生成工作室 — Far-Ad9512 · 2026-11-13