300 英镑骁龙迷你主机跑 80B 模型:纯 CPU 达 17 tok/s

WorldlyAd7946 · reddit · 2026-10-16

楼主用 £299.99 的联想 IdeaCentre Mini（Snapdragon X1-26-100，32GB，纯 CPU 约 35W）做本地 LLM 实测。llama.cpp 下 Qwen3.6 35B A3B coder 读 118/写 24.5 tok/s，开 MTP 后约 30 tok/s。作者把 x86 专用的 Janas 移植到 ARM（NEON 内核、i8mm，与标量参考逐位一致，将提 PR），用专家缓存+NVMe 流式读取，让 llama.cpp 根本装不下的 Qwen3-Next 80B A3B 以 17-18 tok/s 运行；12GB 缓存即可让 35B 写出 24 tok/s，意味着 16GB 骁龙设备也能跑。还用 USB4 连接两台机器，已跑通 122B Qwen。结论：这可能是目前最便宜的 32GB LPDDR5 方案。