llama.cpp ARM端NVFP4点积查表优化提速约5倍

pmttyji · reddit · 2026-07-06

llama.cpp社区PR将UE4M3查表优化扩展到ARM平台的NVFP4点积运算,复用现有查表基础设施,使ARM实现与x86实现对齐。基准测试显示,Qwen3.5-4B-NVFP4模型在4线程下pp512从1.89 t/s提升至9.97 t/s,获得约5倍加速。