Flint 本地推理实测:M4 Pro 上 131 tokens/s,开放权重免 API 费
josh_tobin_ · x · 2026-10-22
Josh Tobin 继续 Flint 发布线程:他理想的日常编程体验是快速、可定制、私密且免费,Flint 是朝这个方向的一步——开放权重、跑在你自己的硬件上、没有 API 费用,在 M4 Pro MacBook Pro 短上下文下解码超 125 tokens/s。
配套性能图给出更细数据:MLX 版本在 M4 Pro(48GiB)短上下文达 131.22 tokens/s,llama.cpp 版 87.98;RTX Spark 上 NVFP4 版达 155.82 tokens/s。对比同级稀疏 MoE(如 Qwen3.6 35B 的 65.55、Gemma 4 26B 的 61.89)和稠密小模型,Flint 在质量与速度的权衡上明显占优。
所属事件:Recursive 发布开源 MoE 模型 Flint，本地高速编程免 API 费(3 条相关)→
「Infra」频道最新
- Crusoe 在 PyTorch 大会展示 LLM 后训练平台，兼容 Tinker API — PyTorch · 2026-10-22
- Socher 公司发布首个模型 Flint:MacBook 上 125 token/秒的本地编码模型 — ying11231 · 2026-10-22
- SGLang 发布 TPU 插件并已在 Meta 生产推理,单流解码达 770 tok/s — ying11231 · 2026-10-22
- 开源 PR 优化 DeepSeek-V4.1 推理：4 张 RTX PRO 6000 实测提速 — AlpinDale · 2026-10-22
- vLLM Day-0 支持 Flint：单卡 GB200 跑出 500 TPS — _rockt · 2026-10-22
- Grass 播客：训练数据已成盈利生意，头部门槛实验室都是客户 — grass · 2026-10-22