MacBook 实测:7B-q2_K 每解一题耗电是 3B-q4_K_M 的 2 倍
Aditi Patodiya · hf · 2026-11-20
作者在无风扇 MacBook Air M2 上跑了 24 个 Qwen2.5-Coder 的 GGUF 量化文件,在 542 道 EvalPlus 任务上按「每解出一题的能耗」定价,给出一份按 Ollama 文件大小索引的选型指南。
关键结论
- 1–2 GB 档:选 1.5B-q4KM 和 3B-q4KM,两者在正确性与能耗上都处于前沿。
- 3 GB 档:「更大模型更低精度」的通行规则会选 7B-q2K,但它并不划算——相对 3B-q4KM 解题数无显著提升(90% CI 将 3B 的劣势限制在 2.4 分内),而每题能耗高 2.03 倍(整机功耗口径 1.66–1.81 倍);HumanEval+ 交叉会话验证比值 1.925–1.956。
- 8 GB 档:7B-q6K 相比 2 GB 档有显著正确性提升,能耗代价更高但值得。
- 从 1.5B 起,q4KM 与同尺寸最高精度相差不到 3 分(90% CI)。
作者开源了逐题结果、功耗日志与分析脚本。
「Infra」频道最新
- Mintlify 创始人:Agent 流量一年占文档访问 65%,llms.txt「从未真正存在」 — zeeg · 2026-11-20
- 分析师 Bajarin:投资者对 AI 失去信念,但 ~1.8 万亿美元积压说明扩张远未结束 — BenBajarin · 2026-11-20
- Kale TTS 笔记本 CPU 跑 65-180 倍速,可部署到树莓派与手机 — NERDDISCO · 2026-11-20
- BM25 布道者谈向量检索:数十亿向量下 HNSW 如何扩展 — jobergum · 2026-11-20
- Geoffrey Huntley 六条判断:资源紧缺将持续 6-10 年,开源模型仅落后三个月 — sebpaquet · 2026-11-20
- AWS Bedrock AgentCore 升级 Strands 默认配置,新增生命周期钩子与内置工具 — AWS ML Blog · 2026-11-20