RecToolBench: Benchmarking Recommendation-Specific Tool Orchestration under Fuzzy User Intent
Xiao Chen, Yicheng Zhao, Yingying Wu, Zhendong Chu, Changyi Ma, Qingsong Wen, Xuan Song
EMNLP 2026
cs.IR
2026-09-25
RecToolBench用1288条可执行的模糊推荐任务评测MCP工具编排：专有模型在串行链上命中率超过95%，到L4混合编排则掉到54%。
推荐系统正在从被动过滤变成会调外部工具的指令跟随智能体。现有评测要么假设用户意图写得很清楚，要么只考单次函数调用。真实推荐请求经常是糊的：「大概四星、预算三十或四十、配件可能是热靴盖」。智能体得自己补参数、串多服务器工具，再把证据收成一条站得住的推荐。
语法合法的工具调用，并不等于推荐成功。这个缺口以前没有专门的可执行基准去量。
RecToolBench 建在 Model Context Protocol（MCP，一套标准化的工具调用协议）上，覆盖 Amazon Electronics、Yelp、Foursquare 三个域，13 个 MCP 服务器、32 个工具，能力包括检索、评论情感、评分过滤、个性化推荐、地理推理和网页搜索。任务用 synthesize–fuzzify–judge 流水线从真实交互序列生成：先按工具 schema 合成可执行工作流，再按五类歧义（欠指定、软矛盾、模糊量词、偏好不确定、隐式约束）把明确指令糊掉，最后做可解性过滤和人工校验。
难度四档：L1 单工具，L2 并行，L3 串行依赖链，L4 并行加串行的混合编排。全集 1288 条，其中 L1 300 条、L2–L4 共 988 条；域分布 675 / 465 / 148。评测跑多轮 plan–execute 循环，规则指标查 schema、执行、工具选择和 Hit Ratio，LLM 评委（DeepSeek-V3.2）打参数合适度、依赖意识和信息落地。L4 不给唯一金标准工作流，因为合法编排不唯一。
L1 上专有模型工具选择准确率 100%，schema 与执行接近满分。最强小模型 Qwen-2.5-7B 工具选择只有 58%、参数准确率 45%。Gemma-3-4B 工具名合法率 99%，选对工具只有 49%；Qwen-2.5-3B 执行成功率 95%，参数准确率 10%。格式对了，语义经常是空的。
L2 并行时小模型 schema 合规已经很高，任务完成仍落后。Hit Ratio：Gemini-3.1-Flash 55.59%，Claude-Sonnet-4.5 47.29%，GPT-5.4 43.78%，Qwen-2.5-7B 31.58%，Llama-3.2-3B 17.54%。专有模型会多调辅助工具，工具选择 F1 反而更低，但命中更好。
L3 串行链把执行和完成撕开。Llama-3.1-8B schema 合规 97.01%、执行成功 92.15%，Hit Ratio 只有 59.30%。GPT-5.4 / Claude 的 Hit Ratio 是 96.67% 和 95.00%，依赖意识和信息落地分也高一截。Qwen-2.5-7B 工具选择 F1 最高（60.18%），Hit Ratio 仍只有 52.76%。
L4 混合编排是主瓶颈。GPT-5.4 Hit Ratio 54.05%，Claude 44.59%，Gemini-3.1-Flash-Lite 39.19%，小模型停在 20%–28%。GPT-5.4 轨迹上，依赖推理失败 54.1%，目标检索未中 53.6%。Llama 系在 L4 平均打出 68.2 次调用，金标准大约 4.2 次。
做推荐 Agent 或 MCP 工具层的人，不能再用「会不会发 JSON」当完成标准。模糊意图下的参数落地、跨步依赖和证据收口，才是掉点的地方。四档难度能把失败模式拆开：小模型在 L1 就不会选工具，前沿模型到 L4 仍会把依赖链走断。
基准本身是受控 MCP 沙盒，工业噪声、延迟和真正的商品目录都还没进来。
评测环境干净，不反映线上推荐系统的延迟和脏数据。三个域、32 个工具相对生产工具生态仍然偏窄。Agent 设计空间因成本没铺开。任务由 GLM-5.1 合成再模糊化，金标准工作流可能偏向生成器自己的工具习惯。L4 没有参考工作流，Hit Ratio 对「多个合理推荐」会偏严。LLM 评委即使做了提示打乱，仍是模型评模型。