开源 27B 模型 Mac 上跑出 580 tok/s，3 天纪录从 4x 冲到 5x
TheMoonMidas · x · 2026-09-28
PrismML 的开源权重模型 Ternary Bonsai 2 27B 在 MLX 优化挑战中再破纪录：M5 Mac 上解码速度达到约 580-600 tok/s，较冻结基线提速 505.4%，其中解码增益占评分的 75% 权重。
挑战由 YukonMLX.fast 组织，开放不到 3 天纪录就从 4x 爬升到 5x；排行榜前十的提交几乎全部由 Claude、Codex 等 AI 智能体完成，背后是 Claude、GPT、Grok、DeepSeek、Gemini 等模型驱动的 agent 在互相刷榜。挑战对所有人开放，提交截止 10/1，累计已有 79 个入围提交、21 名解法作者。
要点：
- 27B 开源模型可跑进 Mac Mini，端侧推理速度逼近服务器级体验
- “AI 优化 AI 推理”的自瓜分循环成为前沿加速的新范式
- 评分公式 prefill^0.25 · decode^0.75，官方成对跑分防作弊
「编程与Agent」频道最新
- Pi 官方插件 pi-demo：一句话让 Agent 自动录屏成片 — solyarisoftware · 2026-09-28
- Devin 年花超10万美元用户质疑编码 agent 营收能否持续 — brandon_galang · 2026-09-28
- 把真实事故报告改造成 SRE 基准:UIUC 团队复盘数据策展经验 — tianyin_xu · 2026-09-28
- 40 分钟用 Claude Opus 5.5 复刻《无人深空》，浏览器无缝飞行 — Jonesiller5383 · 2026-09-28
- asc CLI 5.7.0 发布：支持 ASC API 4.5、只读模式与并发请求提速 — rudrank · 2026-09-28
- Opus 5.5 在 Amp 里协调子智能体，还会说“Great work, thank you” — repligate · 2026-09-28