本地模型跑 agent 总失败？四个嫌疑点与一次对照运行定位法

lucasbennett_1 · reddit · 2026-11-14

作者总结本地开源模型（如 gemma-4-31b-it）agent 任务失败的四大嫌疑：模型本身、量化版本、chat template、运行时的 tool call 解析器。社区常只争论量化，但 HF 上的修复帖显示 tool call 会在不同环节独立出错——repo 模板、GGUF 内嵌的旧模板、运行时解析器各有问题。

核心方法：先做一次对照运行。保持 prompt、工具列表、权重不变，只在更高精度的地方（如 Gemini API 或提供 fp8 + tool calling 的 DeepInfra 等开放托管）跑一遍：若仍失败，说明模型本身不胜任，本地怎么调都没用；若通过，问题在你的本地栈。

静默失败最危险：有人把云端决策模型换成本地模型后无任何报错，测试集从约 90% 正确率跌到 60%——其实这正是没有决策模型的基线分数，因为本地模型每次都回答「none」。对照运行几分钟就能揪出这类问题。

之后本地逐项改动：更新运行时并重新下载 GGUF 使模板与 repo 一致，检查上下文窗口是否静默截断工具定义，放得下就试 6/8 bit——全程固定 prompt 和工具列表，让每次改动都有信息量。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →