高通骁龙 X2 NPU 本地跑 Qwen3 1.7B:解码 48.2 tok/s,价格约为 Nvidia 一半

draginol · x · 2026-10-19

draginol 提醒大家，在 Nvidia 备受关注的同时，高通的 NPU 也相当能打：配图显示骁龙 X2 Elite (Adreno X2-90 GPU, 48GB RAM) 通过 Genie QNN 在本地运行 Qwen3 1.7B W4A16 模型，prefill 达 3810 tok/s（1K context），解码 48.2 tok/s，首 token 延迟 301ms，准确率 70.0%（80 题中答对 56 题），且价格约为 Nvidia 方案的一半。

这说明端侧 NPU 对小模型的推理能力已经达到可用水平，本地部署不一定非 Nvidia 不可。