M3 Ultra 实测：本地跑 LiquidAI 3B 模型并发解码达 374 tok/s
JosephJacks_ · x · 2026-08-13
开源本地模型运行工具 Nativ 展示了在 Apple Silicon（M3 Ultra）上运行 LiquidAI 的 LFM2.5-VL-3B 多模态模型的并发性能。
- 高并发解码：在 16 个并发请求下，总解码速度达到 374.6 tok/s，是单次请求速度的 4.16 倍。
- 高速预填充：Prefill 速度达 5,494 tok/s，是单次请求的 3.06 倍。
- 完全本地化：无需云端调用和 API 费用，所有数据均在 Mac 本地处理，该功能已在 Nativ v0.3.1 版本中上线。
「Infra」频道最新
- 开发者在 Colab 持续预训练 Luganda 语小模型，8 小时跑到 41% — weskambale · 2026-10-16
- 黄仁勋披露：每 GPU 年收约数千美元软件费，成 NVIDIA 重要收入线 — rohanpaul_ai · 2026-10-16
- 开发者亲测：几万块 V100 本地部署 DeepSeek，不如直接订阅 Claude — lxfater · 2026-10-16
- 公开喊话 neocloud：我愿买 3 万美元 GPU 算力，给个折扣吗 — Sauers_ · 2026-10-16
- 拿到新硬件就开跑：垃圾佬第一时间本地部署模型 — lxfater · 2026-10-16
- Together AI 提出 Score Centering:量化推理下 RL 训练不再崩 — nrehiew_ · 2026-10-16