开源 27B 模型 Mac 上跑出 580 tok/s,3 天纪录从 4x 冲到 5x
TheMoonMidas · x · 2026-09-28
PrismML 的开源权重模型 Ternary Bonsai 2 27B 在 MLX 优化挑战中再破纪录:M5 Mac 上解码速度达到约 580-600 tok/s,较冻结基线提速 505.4%,其中解码增益占评分的 75% 权重。
挑战由 YukonMLX.fast 组织,开放不到 3 天纪录就从 4x 爬升到 5x;排行榜前十的提交几乎全部由 Claude、Codex 等 AI 智能体完成,背后是 Claude、GPT、Grok、DeepSeek、Gemini 等模型驱动的 agent 在互相刷榜。挑战对所有人开放,提交截止 10/1,累计已有 79 个入围提交、21 名解法作者。
要点:
- 27B 开源模型可跑进 Mac Mini,端侧推理速度逼近服务器级体验
- “AI 优化 AI 推理”的自瓜分循环成为前沿加速的新范式
- 评分公式 prefill^0.25 · decode^0.75,官方成对跑分防作弊
「编程与Agent」频道最新
- ffmpeg-skill 爆火:42 个 FFmpeg 工具让编码 Agent 本地剪视频 — kajisho5 · 2026-11-16
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- 团队让 Agent 自动回复 Slack,网友直呼「和所有人的幽灵版聊天」 — iamrobotbear · 2026-11-16
- AI 求职面试复盘法:让 Claude 指出你哪段回答最没说服力 — brandon_galang · 2026-11-16
- DeepSeek 开源官方 App 前端 chat-demo,3.9k 星 — NielsRogge · 2026-11-16
- lemire:AI 改变编程的不是速度,而是扩大工程师的「认知半径」 — lemire · 2026-11-16