mistral.rs v0.9.0 CPU解码比llama.cpp快1.8倍
EricBuehler · reddit · 2026-07-07
mistral.rs发布v0.9.0,在x86(Sapphire Rapids)和ARM(GB10)上CPU解码速度比llama.cpp快最多1.8倍。在Qwen3 4B Q4_K上,各上下文深度下mistral.rs解码均更快;优化适用于从x86(AVX2/AVX512)到ARM(NEON)的各种CPU,并对所有模型通用。作者称对两个引擎都扫描了多种配置、各自取最优点对比以确保公平。方法论、完整表格和复现脚本已在GitHub开源。