逆向 NPU 引擎格式，让 GGUF 跑速提升 1.5 倍

woolcoxm · reddit · 2026-08-28

作者逆向了 Axera AX8850 NPU 的引擎格式，发现了 int8 权重以两个 nibble 平面存储的布局，并实现了在加载时将 GGUF 权重直接修补到预编译引擎中，免去了模型转换步骤。该项目还修复了被误认为损坏的 batched-prefill 路径，最终在树莓派 5 上实现了比厂商官方运行时快 1.5 倍的解码速度（24.5 t/s）和 716 t/s 的提示词处理速度。作者详细分析了该 NPU 的性能瓶颈主要在于内存带宽而非算力。