285HX上本地跑模型:CPU竟然最快
nirurin · reddit · 2026-07-12
一位用户在 Intel 285HX 的 mini PC 上测试本地运行 LLM 的效果,对比了 Llama.cpp 的不同后端与多个模型,重点看 CPU、Vulkan、SYCL+iGPU 的速度差异。
测试环境
- 机器:MS-02,Intel Core Ultra 285HX,64GB 内存
- 工具:Llama.cpp,尝试 Llama-Swap,但在 SYCL 下不太方便
- 模型:Qwen3、Qwen3.6、Gemma4 的多个量化版本
结果
- Vulkan:整体最慢,部分模型只有 0.5–4 tk/s
- SYCL(iGPU+CPU):明显好于 Vulkan,约 8–12 tk/s
- CPU-only:反而最快,Qwen3-30B 约 16.5 tk/s,Qwen3.6-35B 约 14 tk/s
观察与结论
- 过去资料普遍说 Vulkan > SYCL,但在这代基于 ARC 的 iGPU 上,结果似乎相反,或者至少没有文档里说得那么差。
- 作者还不确定 iGPU 是否带来效率收益,因为还没做功耗测试。
- 目前看,纯 CPU 反而是最快方案。
- 在这些测试里,Gemma4 不太值得,而 Qwen3 / Qwen3.6 的 CPU 方案相当实用,作者倾向于认为 3.6 值得优先尝试。
所属事件:实测285HX本地跑模型CPU反超iGPU(2 条相关)→
「Infra」频道最新
- 用 Sail 等价性证明与 riscv-coq 交叉验证 RISC-V 规范,发现真实 bug — xennygrimmato_ · 2026-10-27
- xAI Colossus 1 数据中心 FP64 算力约 14.6 exaflops,达 Top500 榜首 5 倍 — cis_female · 2026-10-27
- Lambda 实测 NVIDIA DSX MaxLPS:同等电力多跑 3 节点,吞吐提升 24% — TheZachMueller · 2026-10-27
- 新播客:Micron HBM 路线图、Meta AI 基建与 NVIDIA 供应链掌控 — BenBajarin · 2026-10-27
- SGLang MegaKernel+PD 发布:高并发吞吐与低延迟兼得,TCO 大幅优化 — AccBalanced · 2026-10-27
- 自托管 Convex 扩容实战:把 TypeScript 函数编译成 WASM — leventov · 2026-10-27