llama.cpp 在 Intel iGPU 上实测很一般

nirurin · reddit · 2026-07-13

一位用户实测了 llama.cpp 在 Intel iGPU（Arrow Lake）上的表现，结论是 iGPU 方案并不理想。

实测结果

• Vulkan：基本不可用，或极慢，最高大约只有 1 tok/s。
• SYCL：表现最好，Qwen3.6 35B 大约能跑到 12 tok/s；prefill 可到 20 tok/s，但不稳定，有时会卡死。
• CPU：最稳定，推理约 14 tok/s，prefill 约 30–40 tok/s。

部署环境

他在 Unraid 上测试了多种组合：

• llama.cpp 的 CPU / Vulkan / SYCL Docker 容器
• LM-Studio 运行在 Webtop 容器里
• llama-swap 的 CPU / Vulkan 容器

结论

他怀疑要么是 Intel iGPU 对这类推理任务确实没太大用，要么是自己的配置有问题，因此向社区求助是否有人把它真正跑顺、并且获得实际收益。

所属事件:实测285HX本地跑模型CPU反超iGPU(2 条相关)→

原文链接 →

「Infra」频道最新

• AI 数据中心时代用电论战：有人还在纠结灯泡省电与调整时区 — mgostIH · 2026-10-27
• 法律 AI 公司 Legora 在 Modal 上并行跑 2000 个 agent eval — blelbach · 2026-10-27
• 云厂商发布速度打分：AWS 95 分领先，Azure 90、谷歌云 82 — DavidLinthicum · 2026-10-27
• 卖掉 5090 换多机？一公司主拆解本地推理硬件扩展五套方案 — Anarchaotic · 2026-10-27
• AWS 教程:SageMaker SDK v3 搭建车队级边缘视觉模型流水线 — AWS ML Blog · 2026-10-27
• Embedl 把 Qwen3.8-27B 压进 Jetson Thor:解码 40 tok/s,精度反超 FP16 — No-Dragonfly6246 · 2026-10-27

更多「Infra」频道 AI 资讯 →