Qwen2.5-72B 本地性能逼近 Claude 3.5 Sonnet
AGI Hunt · wechat · 2026-08-15
AGI Hunt 评测 Qwen2.5-72B 模型（原文中称为 Qwen-3.8-27B），认为只要 16G 显存即可在本地运行接近 Claude 3.5 Sonnet (原文称 Opus4.6 Max) 级别的模型。
关键数据：
- SWE-bench Pro: 61.7 (超过 Opus 4.6 Max)
- Qwen SWE-Bench: 79.0 (超过 Opus 4.6 Max)
- TerminalBench: 73.0 (接近)
- NL2Repo-Bench: 42.3 (接近)
部署建议：
- 4-bit 量化约需 16GB 内存，速度约 25-40 tok/s。
- Mac 用户推荐 MLX/LMStudio/llama.cpp；PC 用户推荐 vLLM。
作者还提到 Meta 的 Muse (Llama 3.1 405B) 发布，并预测两年内笔记本运行 Fable5 (推测指 GPT-5 级别) 级别模型将成为现实。
「Infra」频道最新
- 大型数据中心仅约50-150个常驻岗位,微软首楼约50名全职员工 — brezina · 2026-10-16
- 2027 年笔记本将跑 Opus 5.5 级模型？Qwen 27B 数据佐证 — cephaloform · 2026-10-16
- Oracle 一周跌 12%、较 6 月高点近腰斩，市场用脚投票 OpenAI 敞口 — alvelda · 2026-10-16
- 美国数据中心暂停令突破 400 起，AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16
- 微软研究院发布 Magnetar：最快 zkVM，比现有方案快 10-39 倍 — jedisct1 · 2026-10-16
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16