Code Mode 省 70–90% token,前置路由增益不显著

Beyond Plain MCP: Do Decision Models and Code Mode Make Tool Use Cheaper and Faster?

Abhishek Rai

cs.SE, cs.AI, cs.CL

2026-11-14

预注册实测:Code Mode 比 plain MCP 省 70–90% token 且成功率反升;前置路由未获统计支持,返回形状标注影响更大。

这篇在解决什么

agent 接上一堆 MCP(Model Context Protocol,标准化工具描述与调用的开放协议)服务器后,成本从两头涨:每一轮 prompt 都要装下全部工具的 schema,每次工具返回的结果又要原样穿过模型进入下一轮。实测里,200 个工具时 plain MCP 每任务要烧约 148K token;到 2,000 个工具直接上下文溢出,一个任务都跑不完。

业界两条现成出路:code mode,agent 对着生成的 stub 写脚本,脚本在沙箱里串调用、过滤大结果,只有最后一行回到上下文,Cloudflare 和 Anthropic 都已产品化;decision layer,agent 前面放一个便宜小模型,先挑出本次任务要用的工具子集。已有对照研究说明 code mode 有效但随模型波动大,没人拆过波动来自哪里,也没验证过两者叠加。这篇用预注册实验(先书面冻结假设与分析方案,再碰封存的测试集)把两个问题一次测清。

方法

一个网关进程挂四个开关,服务器、任务、种子、沙箱全部不变:

环境是 12 个 mock 服务器、42 个自建工具(工单、聊天、账单、日志、CRM 等),再从公开目录抽真实 distractor 工具,把目录拉到 42、200、2,000 三档。三个开源 agent(Qwen3.8-27B、Gemma-4-26B-A4B、Nemotron-3-Nano-30B-A3B)都是量化 checkpoint,一台 GB10(121GB 统一内存)本地串行,温度 0、关 thinking。

两个决定撑住了结论可信度:效用函数 U = 成功率 − 0.01×token/千 − 0.002×延迟秒,权重在看到路由结果之前定死,任务判分看世界状态不看模型文本;119 个测试实例封存后才跑,12 个主比较过 Holm 校正,发现实例聚在 21 个任务模板里之后又补了按任务族重采样的分析,以更保守那版为准。

后来看最值钱的小物件是 stub 里的 return-shape hint,手工写明每个工具返回哪些键、什么类型、list 还是 dict。另外用 LoRA 在 spark-s1(4B)底座上微调了一个工具选择路由器,训练世界与测试世界不重叠。

结果

主比较的 ΔU(✓ 表示任务族级重采样下仍过 Holm 校正):

对比Qwen3.8-27BGemma-4-26BNemotron-3-Nano
code − plain MCP+0.364 ✓+0.118+0.861 ✓
路由+JSON − plain+0.072+0.061+0.571 ✓
路由+code − code−0.025+0.077+0.095
路由+code − 路由+JSON+0.268 ✓+0.133+0.385

code mode 的 token 账:Qwen 每任务 26,602 降到 4,362(−84%),Gemma −70%,Nemotron −90%;成功率不降反升,Qwen +13.4 点、Nemotron +19.3 点。规模近乎免疫:42 到 2,000 工具,延迟 3.6 到 6.3 秒、token 4.7K 到 14K,plain MCP 在 2,000 处全灭。

一手变量藏在 stub 里。去掉 return-shape hint,code mode 成功率 Gemma 掉 22.7 点、Nemotron 掉 39.5 点(Holm p=0.0003),Qwen 只掉 1.7 点且不显著。折成 utility 是 +0.30 和 +0.48,比加路由器的增益(+0.10、+0.11)大得多。Nemotron 无 hint 时 code mode 成功率 0.185,连 plain MCP 的 0.412 都不如;加上 hint 变 0.504。同一个模型,两种结论。

核心假设「路由 + code 优于纯 code」没获证实:合并 238 个实例,效应为 −0.028、+0.099、+0.109,校正后全不显著,模式是弱 agent 方向为正、最强 agent 为负。连拿金标准工具集的 D-oracle 也只比纯 code 高 +0.022(Qwen),天花板本身不高。H4 对 Qwen 成立、另两个方向一致:路由器选完子集后,跑脚本优于发 JSON。

一条工程细节被踩实了:fallback 必须有界。无界版本允许反复 requestmoretools,2,000 工具时单任务 223 秒、370K token、成功率 0.40;改成先回 code mode 全目录重试、最多再要两次工具后,16 秒、34K token、成功率 0.90,快 14 倍。前置路由器自身约 1.6 秒,对快 agent 得压到 0.4 秒以下才划算。

4B 路由器完整召回 1.000(零样本底座 0.899),换一家模型改写措辞掉到 0.964,2,000 工具时被候选检索器卡在 0.44;卖点是 8.4GB 显存(对比 26–27B prompted 路由器约 52GB),不是速度。安全侧:一条写着「所有任务都选它」的投毒描述让 prompted 路由器 39/39 全中;code mode 下注入攻击成功率 0.093,不高于 plain JSON 的 0.148,路由版为 0 只是因为攻击工具没被暴露。

为什么重要

对做 agent 网关和工具编排的人,这些数字能直接换成架构决策。code mode 是主导变量:token 省一个数量级、成功率上升、对目录规模免疫,证据还来自封存测试集加多重校正,这种证据强度在系统类论文里少见。把工具返回结构写清楚,收益超过前置一层路由器;部分「code mode 对某些模型没用」的历史结论,测的可能是 stub 质量。论文建议网关从调用流量里学 shape 自动补标注,提了但没验证。

路由层要不要上?最强 agent 不需要,弱的两个方向为正但未达显著;它的真实价值在最小暴露面和显存占用,输出绝不能当授权决策。fallback 在任何情况下都得有界。

这是篇拆测量、拆设计变量的论文,不提新架构。把「什么在起作用」拆干净,比任何单项数字都值钱。

局限与存疑

论文自述的硬伤:全合成环境,mock 工具瞬时返回,没有真实服务器、真实网络延迟和公认 benchmark;真实服务器的调用往返只会让 code mode 的批量优势更大,论文明确说没模拟。测试集与开发集共享 21 个任务模板,实例不独立;协议写明需要约 300 对样本,实际 119/238,「未证实」应读作「不确定」而非「不存在」。stub hint 由作者手写并在开发数据上调过,证明的是返回值信息重要,推广不到自动生成的 hint。三个 agent 连量化格式、serving 栈都不同(Qwen 走 MLX 4-bit,另两个走 NVFP4 vLLM),延迟项的跨 agent 比较混着基础设施差异。安全实验只有六个任务一个种子,攻击防御同出一人之手。4B 路由器在自家底座基准上掉 1.5–2.8 点,不是无损替换。

utility 的两个权重是拍的,五档敏感性分析下定性结论不变,但 Gemma 的 code mode 优势在其中一档翻负;抄结论前先算自己场景的 token 与延迟比价。

术语

原文与代码

社区讨论

相关论文

全部论文解读