Recursive 40B Flint 模型经 MLX 优化在 M3/M5 Ultra 上跑出近 200 tok/s
timshi_ai · x · 2026-10-24
Prince Canuma 演示 Recursive 的 40B Flint 模型在 Apple M3 与 M5 Ultra 上通过 MLX-VLM 开发分支运行,速度接近 200 tok/s。
jtdavies 深入测试后发现,此前用旧版 mlx-vlm 未发挥模型实力;改用尚未合并的 PR 2569(fused Metal kernels)重跑测试后,性能提升最高达 30%。他评价 Flint 作为 agentic 模型表现出色,与头部模型不相上下。
「Infra」频道最新
- 开源 RL 框架 Miles v0.1.3:首次权重同步 99.5 秒降至 3.9 秒 — hsu_byron · 2026-10-24
- Ziang Li 展示训练实绩:Tensor Core 利用率超 98% — gharik · 2026-10-24
- Polymarket 开盘：明年年底前 AI 数据中心上天，概率 24% — Polymarket · 2026-10-24
- Polymarket 玩梗：谷歌为建 AI 数据中心砍林，狼群进 Finnish 村庄 — Polymarket · 2026-10-24
- llama.cpp 新 PR 去掉 kq_mask 构建 QSA 选择,为 Qwen 省下数 GB 显存 — jacek2023 · 2026-10-24
- Chronos:给 agent 用的 Postgres 兼容数据库,违规写入自动拦截 — Antique-Willow-5841 · 2026-10-24