39 个开源模型跑 11 天数据库 agent:3/4 失败发生在调用了工具的运行

Green_Competition_21 · reddit · 2026-11-17

LibreDB 团队在自研开源 SQL 客户端 LibreDB Studio 的 agent 模式上做大规模实测:39 个开源权重模型本地部署加 1 个托管对照模型,6 类任务面,11 天共 8,199 次运行,记录 110,711 条 ledger 事件与 14,008 次工具调用拒绝。

核心发现:

一个影响本地模型 benchmark(包括他们自己)的混淆因素:不限上下文时,一个 7.1GB 的 7B 模型以完整 262,144 token 窗口被加载,在 64GB 机器上占用 51GB,普通日志里与模型超时不可区分。

实践建议:评估小模型做 agent 任务时,先记录模型发送的工具参数、固定上下文大小,再归因失败。语料、评分器与可复现全部图表的 verifier 随论文发布(arXiv:2609.21341)。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →