M3 Ultra 实测：本地跑 LiquidAI 3B 模型并发解码达 374 tok/s
JosephJacks_ · x · 2026-08-13
开源本地模型运行工具 Nativ 展示了在 Apple Silicon（M3 Ultra）上运行 LiquidAI 的 LFM2.5-VL-3B 多模态模型的并发性能。
- 高并发解码：在 16 个并发请求下，总解码速度达到 374.6 tok/s，是单次请求速度的 4.16 倍。
- 高速预填充：Prefill 速度达 5,494 tok/s，是单次请求的 3.06 倍。
- 完全本地化：无需云端调用和 API 费用，所有数据均在 Mac 本地处理，该功能已在 Nativ v0.3.1 版本中上线。
「Infra」频道最新
- OCP大会激辩AI算力网络：铜缆将死还是光通信为王？ — BenBajarin · 2026-08-13
- 硅光子技术突破：单芯片光子比特密度达 26.9 万 — beffjezos · 2026-08-13
- 前 SpaceX 员工创办 Ambrosia，用太阳能加储能攻克 AI 算力用电瓶颈 — Scobleizer · 2026-08-13
- 打破内存墙：CXL 技术将如何重塑 AI 算力基础设施 — BenBajarin · 2026-08-13
- 纯 Rust 浏览器端运行：Qwen3-TTS 本地语音克隆实测 — doodlestein · 2026-08-13
- 曝 Anthropic 拟约 60 亿美元收购 AI 芯片效率初创公司 Decart — coinfanking · 2026-08-13