4B 模型靠真实 API 反推任务,追平 Claude Sonnet

Firefly: Illuminating Large-Scale Verified Tool-Call Data Generation from Real APIs

Yuxuan Lu, Ziyi Wang, Yingzhou Lu, Yisi Sang, Jiri Gesi, Xianfeng Tang, Yimeng Zhang, Zhenwei Dai, Hui Liu, Hanqing Lu, Chen Luo, Qi He, Benoit Dumoulin, Jing Huang, Dakuo Wang

cs.SE, cs.CL

2026-05-18

Firefly 先探索真实 MCP API 再反推任务,得 5,144 个可验证任务;4B 模型 RL 后 pass@1 追平 Claude Sonnet 4.6。

这篇在解决什么

训练工具调用 agent 需要「任务 + 可执行轨迹 + 可对答案的 ground truth」三件套,而 RL 食量大,连数据高效的配方也要几千个任务,公开 benchmark 每个域却只有几十到几百题(Tau2-Bench 每域 50-115 题,MCPMark 共 127 题)。合成数据两头漏风:让 LLM 凭空编 API 响应,环境和真实服务器行为脱节;先写任务再补轨迹,轨迹未必跑得通,答案也没有 ground truth 可验。真实 API 还有第三重麻烦:天气、股价这类输出随时间漂移,服务器会限流下线,RL 反复 rollout 既贵又不可复现。大规模、真实、可验证三者兼得,外加一个训练期稳定的环境,是这篇要解的问题。

方法

Firefly 把合成顺序倒了过来:先让强模型在真实 MCP 服务器上把工具链跑通,记录实际拿到的输出,再从这些输出反推任务。标签天然正确,因为答案就是真实工具真返回过的东西。

三步走:

训练环境单独解决:探索期所有工具调用全部缓存,做成检索增强模拟器。agent 的调用走三层:输入精确匹配就回放缓存;近似匹配就检索最相近的历史调用,由 LLM 生成响应;完全没见过的输入返回错误。第三层故意保守,正确轨迹都在缓存里,偏得太远的调用大概率是错的,不该得分。RL 和评测全部离线跑在这个模拟器上。

结果

管线产出 9,749 条探索 DAG、9,275 个候选任务,验证后剩 5,144 个,平均每题 3.0 次工具调用、4.6 个答案字段,38.5% 的题要跨 server 组合工具。全程用 Claude Sonnet 4.5 批量推理生成,约 235 亿 token,花费约 4.7 万美元。训练中 42.2% 的调用精确命中缓存,57.8% 走模糊生成层,0% 落到无数据层。

自建 200 题测试集(Qwen3-4B 起步,GRPO 训练):

模型pass@1pass@8
Qwen3-4B(base)28.1%38.4%
Qwen3-4B + Firefly RL41.5%52.8%
Claude Haiku 4.530.0%48.7%
Claude Sonnet 4.642.2%50.3%
Claude Opus 4.744.5%54.4%

4B 涨 13.4 个点,pass@1 追平 Sonnet 4.6,pass@8 反超;pass@16 到 57.0%,与 Opus 4.7 打平。

外部 benchmark 七项全部上涨:

benchmarkbaseRL 后
Tau2-Bench Retail0.4910.627
Tau2-Bench Airline0.3650.525
Tau2-Bench Telecom0.1890.204
MCP-Atlas19.4%26.0%
MCPMark File System40.0%60.0%
MCPMark Postgres Easy70.0%80.0%
MCPMark Postgres Std9.5%13.3%

为什么重要

对做工具调用 agent 的团队,这是一条可照抄的数据作业:真实性和可验证性不再二选一。back-chaining 不算新想法,代码生成的执行过滤、小工具空间里的枚举早有影子;这篇的贡献是证明它在近千工具的真实 MCP 生态也能跑通,靠工具图把探索压进语义连贯的邻域,并用回放模拟器把 RL 从「每次 rollout 打真 API」的烧钱模式里解放出来。迁移结果比自家测试集更有分量:Firefly 全是单轮任务,却在多轮的 Tau2-Bench 和真实 MCP 执行的 MCPMark 上也涨,说明学到的是工具选择、参数落地、链式调用这类通用行为,不是背缓存。论文已被 NeurIPS 2026 接收,代码和数据在匿名仓库公开。

局限与存疑

作者自认两条:只训了 4B 一个规格;任务全部单轮,没有多轮对话里的澄清和改需求。pass@1 到 pass@16 只差 15.5 个点(41.5%→57.0%),一批难题 4B 采样再多次也够不着。

读下来还有几处要打折。「追平 Claude Sonnet」出自 Firefly 自建测试集:题目由同一套管线生成,评测走同一个模拟器,奖励兜底还是 LLM judge——4B 是主场作战,Claude 是零样本客场。模拟器的模糊层响应由 LLM 生成,训练中 57.8% 的调用走的是这层,「全部基于真实 API 输出」要打折扣。Telecom 只涨 1.5 个点,迁移不均匀。任务是从既有输出反编的,天然有「为答案凑题」的风险,7.8/10 的真实感是 LLM 自评,论文没给人工抽检的量化结果。

术语

原文与代码

社区讨论

相关论文

全部论文解读