3,717 次实测:Claude Code 遇内置工具重叠时仅 34.5% 调用你的 MCP
Future_AGI · reddit · 2026-11-03
基于 Sineframe benchmark(3,717 次打分试验,覆盖 Claude Code、OpenCode、Codex)的分析显示,当 MCP server 功能与客户端内置工具(WebSearch、WebFetch、Read 等)重叠时,工具调用率大幅下滑:
- 11 个无内置等价物的 server:Claude Code 调用率 93.5%;10 个有重叠的 server 降至 34.5%
- Codex 从 92.1% 跌到 17.2%,OpenCode 表现最好(重叠场景 66.3%)
- 很多「漏调」仍答对了:Claude Code 378 次用自带工具给出期望值(342 次正确),你的 server 完全收不到请求、日志无记录
- 原因之一是 Claude Code 默认延迟加载 MCP 工具,且 server instructions 截断至 4,096 字符
作者建议从客户端侧做 eval:20-30 条带期望工具与参数的 prompt、内置工具开/关各跑一轮、每 prompt 跑 30 次、客户端更新后重跑(上周 Claude Code 发了 5 个版本),并开源了 eval 库(漏调记 0 分)。
「编程与Agent」频道最新
- OpenClaw 用自适应测试将月度 CI 账单砍掉 95%,原近 100 万美元 — vincent_koc · 2026-11-04
- ParallACT 基准：无协调多智能体并行改代码，Claude Code 成绩从 62% 暴跌至 16% — EliasEskin · 2026-11-04
- Perplexity Computer 发布：可全自动化运营电商生意 — perplexity_ai · 2026-11-04
- Filarise 推金融 MCP Server：ChatGPT 直连银行账单查支出明细 — ChampionSpecialist60 · 2026-11-04
- 多智能体互相通信也救不了协作：61%达成一致仍合并冲突 — EliasEskin · 2026-11-04
- 开源 worldinmotion MCP：跨机器 Agent 会话互发消息，并解释为何不做审批工具 — distronode · 2026-11-04