Liquid AI 发布 LFM2.5-24B-A2B,M3 Ultra 上跑出 74 tok/s 全本地推理
helloiamleonie · x · 2026-10-14
Liquid AI 发布端侧 MoE 模型 LFM2.5-24B-A2B(总参数 24B、每 token 激活约 2.45B、128K 上下文)，本地推理应用 Nativ 提供 Day-0 支持。
在 M3 Ultra + BF16 MLX 权重下的实测：
- prefill 4337 tok/s，单请求 decode 74 tok/s
- 8 路并发时 decode 仍达 205 tok/s
- 峰值内存 48.4 GB，拉满 128K 上下文仍有 49 tok/s decode
Nativ 是一款 MIT 协议开源的 macOS 本地模型客户端，基于 MLX-VLM 针对 Apple Silicon 统一内存与 Metal 优化，支持文本/图像/视频/音频/代码多模态，无需账号订阅、数据不出本机，还支持把本地模型接入已有编码 agent 工作流。
所属事件:LiquidAI 发布 LFM2.5-24B-A2B 端侧 MoE 模型(4 条相关)→
「Infra」频道最新
- Ayar Labs 联合 Wiwynn/GUC 现场演示光互连集成计算系统 — bookwormengr · 2026-10-14
- Gavin Baker 回应泡沫论：部分 AI 交易确是假的，1.4 万亿口径存疑 — GavinSBaker · 2026-10-14
- 单张 A100 跑出 12 万 tokens/秒，Argon 优化 Gemma 实现 2.9 倍提速 — osanseviero · 2026-10-14
- Espresso 上线 Spark 优化:自动修正错误机型与配置 — mattturck · 2026-10-14
- Intel Diamond Rapids 主板亮相:16 条 DDR5 插槽支持 MRDIMM — firstadopter · 2026-10-14
- SayGM 声称 LLM 网关可省 70% 费用，ARR 达 500 万美元 — markjeffrey · 2026-10-14