本地模型「谁更强」可能是伪问题:坏的是工具模板和文件名,不是模型
bigorangemachine · reddit · 2026-10-15
作者用 MLflow + MCP host 对本地模型做了带指标的工具调用基线测试，结论是「模型部落之争」很多其实是 harness 问题：
- 旧的 Gemma 4:27b 大量工具调用失败，但拉取 15GB 更新后的新版本零失败——说明默认配置（chat template/参数）可能适配了另一个 harness
- 参考社区修复的 Qwen-Fixed-Chat-Templates 后发现 Qwen 也有类似问题，qwen2.5 不如 qwen3 精修，工具失败率高；甚至有 agent 因工具坏掉而去读随机 YouTube 字幕「自救」
- 文件名带方括号也会让部分模型/工具调用失败
- 尽管工具坏了，任务结果往往仍相似——模型会绕路，掩盖了问题
建议：对比开源模型时先修 chat template、按编程任务调低温度和重复惩罚、做每个模型多组 modelfile 变体的基线，别急着下「谁更强」的结论。
「编程与Agent」频道最新
- Decisions API 正式 GA,agent 反馈循环全自动剪辑云视频 — dkundel · 2026-10-23
- 50+ 免费 AI Agent 学习资源合集：视频与仓库一站打包 — ifioknkem · 2026-10-23
- 自封「全网最佳」的免费 AI Agent 资源库引围观 — ifioknkem · 2026-10-23
- Vercel 推出免注册部署：拖拽文件到首页即得线上 URL — steren · 2026-10-23
- 5 个 Claude Code 会话经 MCP 互发邮件，组队攻破多品牌网络摄像头 — doodlestein · 2026-10-23
- Vercel 上线 vercel deploy --temporary,可临时部署后自动清理 — cramforce · 2026-10-23