实测 Liquid LFM2.5-24B:Mac 上跑出 174 tok/s,速度宣称基本属实
TheOyinbooke · x · 2026-10-14
作者在 Mac Studio M5 Max 上复现 Liquid AI 的官方速度宣称:按官方条件(llama.cpp、Q4KM、4K 输入)实测 174.1 tok/s,短 prompt 达 179.1,与官方的 184 tok/s 差距约 5%,宣称基本站得住。他同时对比了 Qwen3-6.35B-A3B、Gemma4-26B-A4B 以及 MLX 引擎下的表现,LFM2.5 是全场最快。模型文件 14.53GB,16GB 内存的 Mac 装不下。
但这是「思考型」模型:每次回答前都会长思考,200 词回答可能先思考 1000-2000 token,不少任务因思考耗尽 4096 token 上限而输出为空。结论:作 32GB 以上 Mac 上的 agent 大脑打 8/10,做快速一次性问答只有 5/10;调工具的速度倒是思考型模型里最快的。
「Infra」频道最新
- 播客解读 Marvell 分析师日、OpenAI 营收传闻与 20-30GW 电网瓶颈 — BenBajarin · 2026-10-14
- vLLM 联动 Hugging Face 直播:投机解码加速本地 LLM 实践 — mervenoyann · 2026-10-14
- Modal 年化收入破 10 亿美元,5 个月用量翻三倍并融资 7.5 亿美元 D 轮 — josh_wills · 2026-10-14
- 黄仁勋宣布 20 亿美元投资欧洲,另为英国安全实验室提供 2.5 亿算力 — The Decoder · 2026-10-14
- llama.cpp 新 PR 提速 GDN 分块核:4090 上 35B 模型快 11% — jacek2023 · 2026-10-14
- 分析师称 WFE 设备进入结构性扩张:2nm 制程使旧工具大规模报废 — BenBajarin · 2026-10-14