Mac 本地跑开源模型调查:27B 稠密模型仍是编码首选
DotaMate · reddit · 2026-10-22
开发者在 Reddit 发起讨论,询问在 MacBook(Apple Silicon)上本地推理的主力模型选择:Qwen3.8-Flash-Next、Qwen 35B、稠密 27B,还是 Nemotron Bolt。作者自己写代码时反复回到 27B 稠密模型。他正在开发 Apache 2.0 开源项目 Kapitsa(支持 M1 到 M5 Ultra 全系芯片的本地推理优化),并在自己的 M4 Pro 上拿到了 Qwen 35B/27B 的解码与预fill SOTA 性能。
「Infra」频道最新
- BIND9 爆高危漏洞:重放 GSS-TSIG 消息可致远程代码执行 — basedjensen · 2026-10-22
- 16GB 显卡同时跑生产应用和 Agent:后台任务凭什么抢推理资源? — Powermadlux · 2026-10-22
- Gartner:AI 数据中心需 8.5 万亿美元营收,预期仅 3.6 万亿 — AIFlow_ML · 2026-10-22
- FlashAttention 4 在 GB300 上快到「离谱」,做优化的都头疼 — francoisfleuret · 2026-10-22
- 转引评论:身价 3000 亿美元的 Larry Page 拒付 5% 身价建基础设施 — georgemillo · 2026-10-22
- 传亚马逊购入 50 亿美元 Nvidia GB300 机架,却因缺电闲置吃灰 — AIFlow_ML · 2026-10-22