Flint int4 跑 Qwen3.6-35B:Mac mini 解码最高 122.6 tok/s,质量持平
_rockt · x · 2026-10-22
转发者在 Mac mini 上用 Flint（int4）对比自己的日常主力模型 Qwen3.6-35B-A3B（4bit），认为找到赢家。配图数据显示：
- 解码速度（3 次冷启动中位数）：1K 上下文 122.6 vs 91.5 tok/s，5K 113.9 vs 86.7，10K 105.2 vs 80.5，20K 90.9 vs 73.9——Flint 全程快约 25-34%。
- 质量测试（52 个本地任务）：Flint 得 50/52（代码 16/17、数学 8/8、长上下文 4/5、工具 7/7），中位耗时 2.8s。
- Qwen3.6 thinking 开启同为 50/52 但耗时 10.1s；关闭 thinking 仅 46/52（数学掉到 2/8），耗时 0.9s。
结论：Flint 在质量持平 Qwen 思考模式的同时，速度快约 3.5 倍。You.com 创始人 Richard Socher 在回复中邀请反馈，疑似为其团队新推理方案。
「Infra」频道最新
- RTX PRO 6000 也替代不了云端：本地 LLM 工作实测引质疑 — C1rc1es · 2026-10-22
- NVIDIA 推出 OpenShell 参考架构，专攻 AI Agent 安全 — VectorWireAI · 2026-10-22
- llama.cpp 新 PR：用 R9700 跑赢 strata decode 性能 — keyboardhack · 2026-10-22
- AI 从业者喊话欧盟：别焦虑模型，砸钱建 GPU 集群和电网才是正事 — DionysianAgent · 2026-10-22
- 10月21日 Railway 与 LiteLLM 遭攻击,AI 防御需进入代理化时代 — alvelda · 2026-10-22
- 小量化模型思考更长反而更慢？本地部署社区热议量化选择 — Banana-Negra · 2026-10-22