Recursive 40B Flint 实测：mlx-vlm 未合并 PR 提速至 30%，agent 能力比肩头部
jeffclune · x · 2026-10-24
jtdavies 对 Recursive 的 40B 模型 Flint 做了深入测试，重点补测了第三方推理支持：此前用 mlx-vlm 跑分低估了它，换用 mlx-vlm 未合并的 PR #2569（fused Metal kernels）重跑后差距判若两模型，吞吐提升最高约 30%。
- 长上下文：Mac Studio M5 Ultra 上 256k prompt 预填充约 2746 tok/s（4-bit + PR #2569）；生成端 256k 时 4-bit 约 114 tok/s。
- 并发 agent：64k 上下文、前缀缓存开启时，Flint 4-bit 可扩展到 32 个 agent，总输出约 180 tok/s，明显优于 Flash-Next FP4-Local（32 agents 仅 19 tok/s）与 Ornith-1.5-122B（8 tok/s）。
- 结论：作为 agentic 模型，Flint 表现属第一梯队，值得本地部署玩家关注；PR #2569 合并后本地体验还会更好。
「Infra」频道最新
- 传某顶级律所弃用 Harvey 与云 API，转用自有 GPU 跑 Kimi 和 DeepSeek — SumitGup · 2026-10-24
- Tesla Q3 储能部署量增 10% 营收反降 16%，单价暴跌成主因 — pdamodaran · 2026-10-24
- Mandiant：PHP 关键漏洞已有可 RCE 的 PoC，督促尽快打补丁 — cyb3rops · 2026-10-24
- W4A16 量化逆势提速 10%,解码 kernel 吃满 98% Tensor Core — niloofar_mire · 2026-10-24
- Blackstone 拟出售数据中心， neocloud 算力租金同比涨 50% — GaryMarcus · 2026-10-24
- 30-40 万美元预算怎么花：癌症中心算力主管公开征询 AlphaFold 集群方案 — starkruzr · 2026-10-24