硬核实测:一加 13 纯 CPU 跑 LFM2.5 速度达 17 tok/s

trikboomie · reddit · 2026-08-05

作者在一加 13(OnePlus 13)手机上,使用纯 CPU 成功运行了参数量为 2.69B、支持 128K 上下文且专为多步智能体工作流设计的 LFM2.5 模型。

测试使用了 Q4KM 量化版本的 GGUF 文件,运行在作者从零自研的推理引擎上,达到了约 17 tokens/s 的生成速度。据悉,该引擎体积仅为 450KB,兼容 Qwen、Gemma 等多种模型架构,作者目前正致力于将速度进一步提升至 30 tokens/s。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →