实测:改一句 MCP 工具描述,正确工具选择率从 19/55 升至 45/55
sparkignitefire · reddit · 2026-11-21
Portravo 团队分享了一组一手实验:仅修改 MCP 工具描述的第一句话,就能显著改变 agent 的工具选择行为。
- 场景:一个 account-profile 工具的描述里写了「优先使用本工具」,导致用户问项目或工程量估算(takeoff)时,agent 也会错误地先打开账户资料工具。
- 数据:原描述下,某模型在 55 次运行中只有 19 次首次选对工具;修订描述后升至 45/55;把旧的首句放回修订版,又跌回 18/55。
- 测量口径:只统计「第一个选中的工具」,未验证任务最终是否正确完成。
- 建议:如果你的工具描述里有「use this first」类指令,务必用那些本应给相邻工具的普通请求来测试,避免抢流量。
完整方法论见其研究页面。
「编程与Agent」频道最新
- 创业者批 McKinsey:企业需要的不是 AI 第二大脑而是第一大脑 — vasuman · 2026-11-21
- 开发者吐槽:模型照单全收冗余复杂度,工具与 MCP 太重难落地 — dscape · 2026-11-21
- Inkling 2 Mini 模型页详解:MLX 量化版与一条命令接入编码 Agent — ollama · 2026-11-21
- 实测:无引导编码 Agent 仅通过 52% Web 检查,装上技能达 91% — rseroter · 2026-11-21
- n8n 推出 Agents:现有工作流直接变成智能体的工具箱 — SucceededMind · 2026-11-21
- Nous Research Hermes 插件黑客松收官:近千人参赛公布十强 — alexcovo_eth · 2026-11-21