硬核实测:一加 13 纯 CPU 跑 LFM2.5 速度达 17 tok/s
trikboomie · reddit · 2026-08-05
作者在一加 13(OnePlus 13)手机上,使用纯 CPU 成功运行了参数量为 2.69B、支持 128K 上下文且专为多步智能体工作流设计的 LFM2.5 模型。
测试使用了 Q4KM 量化版本的 GGUF 文件,运行在作者从零自研的推理引擎上,达到了约 17 tokens/s 的生成速度。据悉,该引擎体积仅为 450KB,兼容 Qwen、Gemma 等多种模型架构,作者目前正致力于将速度进一步提升至 30 tokens/s。
「Infra」频道最新
- Anthropic 计划开发定制 AI 芯片,以提升 Claude 推理效率 — Polymarket · 2026-08-05
- 华尔街预计 AI 基建狂飙:OpenAI 明年单季资本支出或超 180 亿美元 — PTrubey · 2026-08-05
- 4090 实测 MiniMax H3:Sage Attention 节点让生成时间暴降 — thegr8anand · 2026-08-05
- 3090 升级抉择:24G 显存够用还是直上 32G? — gtech02 · 2026-08-05
- 斯坦福 Hazy Research:AI Agent 正在让 CUDA 抽象层退役 — sumitdotml · 2026-08-05
- AI智能体自主编写Triton内核,打破 NanoGPT 训练速度记录 — cong_ml · 2026-08-05