Chantless 专家提取实测:8B 模型函数调用反超大模型 107.8%
tokenbender · x · 2026-10-14
tokenbender 发布 Chantless 项目的方法论文章与首批结果。核心思路：大模型跑编码 agent 等任务时必须全量加载权重，不论任务是否需要，导致服务成本高、难以本地部署。Chantless 尝试「专家提取」——定义任务做得好的标准，然后围绕该标准裁剪和塑造模型，只保留任务所需的权重。
基准结果（专家模型 vs 大模型）：
- 函数调用：Qwen3-8B 在 BFCL single-call 得 66.5%，为大模型的 100.4%
- 更小配置的函数调用：71.4%，达大模型的 107.8%（反超）
- 终端 agent：Qwen3.8-27B 在 Terminal-Bench 2.1 pass@1 得 77.8%，达大模型 104.1%；另一配置 74.4%（99.6%）
- 数学：AIME 2025 avg@8 得 96.67%，为大模型的 97.5%
- 脱敏任务 RedactionBench：0.725 vs 0.707（102.5%）
结论是经过任务定制的 8B/27B 专家模型可以匹配甚至超过全量大模型，且活跃权重大幅缩小（示意图中为 16GB）。
所属事件:Chantless 发布：8B 模型函数调用反超大模型 107.8%(3 条相关)→
「编程与Agent」频道最新
- AI 时代编程快 10 倍,判断何时慢下来反而重要 100 倍 — brandon_galang · 2026-10-14
- Matt Pocock:编排 agent 会话被压缩不用担心,任务简单就安全 — mattpocockuk · 2026-10-14
- Runway MCP 上线:在 ChatGPT、Claude、Cursor、Replit 里直接生成视频 — tlakomy · 2026-10-14
- 用 AI 做游戏先搭 graybox:先验证手感再并行生成美术资产 — chongdashu · 2026-10-14
- Vercel 上线 Gemini 4 Argon 首发模型,12 月前五折,rauchg 盛赞 Google — AccBalanced · 2026-10-14
- 开发者分享自定义斜杠命令组合：先原型后构建的 compound engineering 流程 — kieranklaassen · 2026-10-14