39 个开源模型跑 11 天数据库 agent:3/4 失败发生在调用了工具的运行
Green_Competition_21 · reddit · 2026-11-17
LibreDB 团队在自研开源 SQL 客户端 LibreDB Studio 的 agent 模式上做大规模实测:39 个开源权重模型本地部署加 1 个托管对照模型,6 类任务面,11 天共 8,199 次运行,记录 110,711 条 ledger 事件与 14,008 次工具调用拒绝。
核心发现:
- 2,100 次模型归因失败中,1,590 次(75.7%)发生在调用了至少一次工具的运行里(按模型聚类重采样 99.7% 成立)
- 最大失败类别是「transport」(用了工具但交付物从未送达),占 36.2%;完全没调工具的「capability」类最小,仅 17.3%
- transport 失败可分解为几种机械性的参数形态;此前生产日志只记拒绝码不记模型参数,问题隐身十天。补抓参数后暴露 5 个服务端缺陷——例如某字段在一个工具必填、在组合它的姊妹工具中却被禁止,进而因缺失而判失败
- 不改任何模型/提示词/采样设置,仅 5 处服务端修改就让 6 个模型在 30 格排名中移动 6-21 格
一个影响本地模型 benchmark(包括他们自己)的混淆因素:不限上下文时,一个 7.1GB 的 7B 模型以完整 262,144 token 窗口被加载,在 64GB 机器上占用 51GB,普通日志里与模型超时不可区分。
实践建议:评估小模型做 agent 任务时,先记录模型发送的工具参数、固定上下文大小,再归因失败。语料、评分器与可复现全部图表的 verifier 随论文发布(arXiv:2609.21341)。
「编程与Agent」频道最新
- 独立开发者开源 OpsBridge:用 20 把椅子案例求解发票调查难题 — Fit_Fortune953 · 2026-11-17
- 知识图谱入门:用实体-关系网络为 AI 提供结构化上下文 — robertonappe · 2026-11-17
- UAIN 众包科研网络回应质疑:开放源码、限制任务用量 — my-aga · 2026-11-17
- 被疯传的技术博客清单:测 SWE-bench 多模态漏洞、232 倍内核加速复盘 — dejavucoder · 2026-11-17
- 开发者最常用的一条 AI 编程提示词:用简单话总结你做了什么 — js_craft_hq · 2026-11-17
- Agent 生产落地难题:API 返回 200,记录却没写进 CRM 怎么办? — Ok-Machine7983 · 2026-11-17