论文实测:工具仅仅可用就让学生模型答题率从 98.2% 跌到 63.5%
dair_ai · x · 2026-09-16
dair-ai 分享的一篇论文揭示了反直觉发现:给助手额外工具,即使不用,也会让它不答原本会答的问题。
- 覆盖 6 个模型;当存在一个相关工具时,无需工具问题的回答率从 98.2% 降到 63.5%,下降仅因工具在场而非被调用
- 基准含 10 个领域 500 组查询对,每组带工具不可用的对照组
- 前置一次工具调用能挽回部分丢失答案,但也会造成新的丢失
- 一句告知模型工具用途的系统提示词可挽回最多 45.6 个百分点
对 agent 工具设计与提示工程有直接实操意义。
「编程与Agent」频道最新
- 工程师用 LLM 把知识变成游戏：自建芯片工厂模拟学造芯片 — thehiphopswami · 2026-09-16
- 开源 skill 清除 AI 写作味：识别 41 种套路，4 道关卡把关 — Roger_M_Taylor · 2026-09-16
- Muse 编码模型实测获赞：Alexandr Wang 持续安利「真不错」 — alexandr_wang · 2026-09-16
- 给 AI 编码 agent 喂 Figma 链接不够，设计上下文才是关键 — T07NAD0 · 2026-09-16
- prxhub MCP 连接器上线，AI 可搜索下载引用研究包 — modelcontextprotocol · 2026-09-16
- 5 个月 4000 次运行复盘：开源 deep research harness 可靠性经验 — Public_Umpire_1099 · 2026-09-16