Firefly 反转合成顺序:从真实 MCP API 生成 5144 个可验证 Tool-Call 训练任务
机器之心 · wechat · 2026-11-07
机器之心详解 NeurIPS 2026 论文 Firefly:解决 Tool-Calling Agent RL 训练数据规模化、真实、可验证的三重困境。
现有方法的问题
- 人工标注:Tau2-Bench 每领域仅 50-115 任务;Epoch AI 称单个 RL 任务采购价 200-2000 美元。
- 纯模拟:LLM 编造的工具输出偏离真实 API 行为。
- 前向合成(先出题后求解):groundtruth 无机制保证正确,任务可能不可完成或 solver 答错被当标准答案。
- 即使任务可验证,live API 的 Environment Drift(数据漂移、下线、限流)使 RL 难以复现。
核心方法 Back-Chaining(先探索、再出题)
- 强 LLM 先在真实 MCPServer 上探索并观察实际输出,再围绕观察结果反向构造任务,groundtruth 的正确性成为数据生成过程的构造性质。
- 三阶段 pipeline:从约 3000 个 server 筛选出 240 个(993 个工具,按无状态/无认证/Schema 清晰/非平凡四标准);构建约 83K 边的 ToolGraph 作弱语义先验;在 live server 上生长 tool-call DAG(含 fan-out/fan-in)。
- LLM Judge 按可验证性、唯一答案、可读性、真实性、难度五个维度过滤,约一半候选任务被剔除。最终得到覆盖 240 server、993 工具的 5144 个可验证任务。
可复现训练环境
- Retrieval-Augmented Simulator 三层策略:参数哈希精确匹配直接返回缓存真实输出;模糊匹配时检索 top-k 历史调用由 LLM 条件生成;无历史数据则返回错误(有意保守)。核心假设:通往 groundtruth 的路径均已被缓存,保证可复现且不误奖励错误路径。
「编程与Agent」频道最新
- Inkling-2-Mini 单卡本地跑出 KernelBench-Mega 10.04x,超越多家旗舰 — ziqiao_ma · 2026-11-23
- Visa 推出 CLI 代理钱包:AI 智能体刷 Visa 卡接任务赚 OUSD — Scobleizer · 2026-11-23
- TLA+ 使用者必读:孙医生与徐天逸推荐重读 Lamport 的 TLA 原始论文 — tianyin_xu · 2026-11-23
- 开发者弃用 Mermaid 图,在 agent 工具中改用航班说明式表格布局 — thesephist · 2026-11-23
- Claude Code + Obsidian 五分钟搭出越用越聪明的第二大脑 — dr_cintas · 2026-11-23
- LinkedIn 12 月收紧数据导出:人脉邮箱职位将不再包含 — thedealdirector · 2026-11-23