高通 GenieX 让任意 GGUF 模型跑上骁龙 Hexagon NPU，附实测数据
SkyFeistyLlama8 · reddit · 2026-10-28
Reddit 用户详细实测了高通 GenieX（前 Nexa SDK 团队被高通收购后的成果）在 Snapdragon X 系列上对 GGUF 模型的支持。
背景：约一年前 Nexa SDK 通过签名驱动让 LLM 跑上 Hexagon NPU，被高通收购后项目沉寂，Qwen3-4B 之后无新模型可用。GenieX 整合了 llama.cpp 的 Hexagon NPU 与 Adreno OpenCL 后端，使用签名驱动，可运行任意 GGUF 模型，支持 Snapdragon X/X2 Plus/Elite 芯片，覆盖 Windows、Linux 和 Android，并内置 OpenAI 兼容的 llama-server。
实测数据（ThinkPad T14s，X1E-78-100，64GB RAM）：
- NPU prefill 速度约为 CPU 两倍（1616 vs 893 tps），功耗仅 12W（CPU 35-60W），效率高约 10 倍
- NPU decode 仅 32 tps，约为 CPU 一半，疑似受 NPU 内存带宽限制
- Gemma4-26B MoE 在 NPU 上约 5 t/s decode，仅需 10W，风扇都不转；31B dense 模型 NPU 上仅 1 t/s
结论：NPU 适合 prefill 和低功耗场景，decode 仍是短板。
「Infra」频道最新
- 康宁光通信 Q3 营收 24 亿美元，Gen AI 销售额同比翻倍 — demian_ai · 2026-10-28
- AI 形式验证工具揪出 Redis 23 字符冻结服务器的真实漏洞 — LingmingZhang · 2026-10-28
- 30 个开源编码 Agent 系统提示词实测：235 到 11974 tokens，相差 50 倍 — yb2698 · 2026-10-28
- 前华尔街 ABS 交易员：GPU 云经济模型神似航空业 — BenBajarin · 2026-10-28
- 小鹏 IRON 专用固态电池小批量投产：比液态锂电轻 30%、容量多 30% — CyberRobooo · 2026-10-28
- 把 fp32 全部位模式塞进张量，可视化一元运算的等价形式 — HanGuo97 · 2026-10-28