LiquidAI 新模型实测：Mac 本地跑 128K 上下文解码达 82 tok/s
helloiamleonie · x · 2026-08-05
LiquidAI 发布了专为智能体和编程工作流设计的 LFM2.5-2.6B 模型。该模型支持 128K 上下文，且完全适配设备端本地运行。\n\n在 M5 Max（48GB）设备上使用本地推理工具 Nativ（无量化 bf16 精度）进行实测，该模型展现出优异的性能：预填充速度达 11,231 tok/s，解码速度达 82 tok/s。同时，跑满 128K 上下文仅占用 8.5GB 内存，在 batch 16 的聚合解码下可达 476 tok/s。
所属事件:LiquidAI新模型实测Mac本地推理性能强劲(3 条相关)→
「Infra」频道最新
- 「芯片版 OpenRouter」被认为是价值百亿美元级的机会 — mishig25 · 2026-09-06
- NYT 调查：被制裁浪潮集团借美国子公司 Aivres 续购 Nvidia 顶级 AI 芯片 — ShakeelHashim · 2026-09-06
- 开源脚本让旧安卓变身 GPU 加速 Linux 桌面或智能家居服务器 — tom_doerr · 2026-09-06
- 两块"奶奶级"P40 跑出 48 tok/s：老显卡llama.cpp 调优实录 — Jumpy-Operation-4615 · 2026-09-06
- 3090+魔改64GB CMP 170HX 双卡跑 H3 频遇 OOM,求固定显存分配方案 — JustinPooDough · 2026-09-06
- Baseten 工程师出书《Inference Engineering》附学习资源清单 — kmeanskaran · 2026-09-06