Mac mini 实测：35B 本地运行时达 Haiku 水准，但不适合 Agent
PawelHuryn · x · 2026-09-10
作者澄清：这是一个本地运行时而非新模型。35B 是 Qwen3.5-MoE 35B-A3B 的 int4 版，8B 是 Ling 3.0 tiny，仅支持 MoE，且要用自己模型需先训练 prerouter 和 LoRA 适配器。
在 Mac mini M4 Pro 上的实测：
- 8B：磁盘 4 GB，内存 1 GB，24 tok/s，平均分 69.9
- 35B：磁盘 23 GB，内存 2.9 GB，15 tok/s，平均分 79.2
- 35B 成绩：MMLU-Pro 81.0、GPQA 79.8，达到 Haiku 水准，明显低于 Sonnet 5
官方称「尚未针对 agentic 任务优化」：3.3k 提示词首 token 需约 30 秒，长上下文内存会远超宣称的 3 GB。适合在小内存 Mac 上做保护隐私的一次性本地任务。
「Infra」频道最新
- 一天烧 40 亿 token,14 次按键把账单砍 500 倍,作者担忧 5 万亿美元债务 — gaganghotra_ · 2026-09-10
- DeepSeek 稀疏化新动向:token 效率看齐 OpenAI,告别「胖鲸吃白饭」 — teortaxesTex · 2026-09-10
- Acellera 实测:单张 RTX 5090 跑本地模型做药物发现 — gdefabritiis · 2026-09-10
- Miles 为 DeepSeek-V4.1-Flash 提供 Day-0 RL 支持，KL 仅 0.0012–0.0017 — ying11231 · 2026-09-10
- 数据中心是一个符号:拆解反数据中心叙事背后的情绪 — ShakeelHashim · 2026-09-10
- Kimi K3 上线 RunPod：2.8T 参数、1M 上下文，$3/$15 定价 — Kimi_Moonshot · 2026-09-10