ToolLoop 三阶段闭环合成工具调用数据,BFCL 达 86.4%
机器之心 · wechat · 2026-09-20
vivo AI Lab 期间完成的研究 ToolLoop（EMNLP 2026 Main）提出将工具调用训练数据的合成拆分为三个阶段，并在各阶段引入动态自反馈，替代传统「先生成、再筛选」的一次性流程。
方法要点
- 候选函数构建：对函数描述做语义向量 K-means 聚类，组成有语义关联的候选集合，支持多工具选择与并行调用。
- 三阶段分解生成：① 采样目标函数组合（确定调用哪些函数及次数）；② 反向生成用户问题（使意图与目标函数严格对应、包含必填参数信息）；③ 正向生成带完整参数的结构化调用。
- 动态自反馈：每个阶段结合 LLM 语义判断、确定性规则与 AST 解析三类验证信号，失败后用「原始提示+失败输出+具体问题」组成新提示重试，每阶段最多 3 次，减少整条样本被直接丢弃。
实验结果
- 用 ToolLoop 构建了 11,024 条样本微调 Qwen3-4B-Instruct-2507，BFCL 单轮总体准确率 86.40%，高于 APIGen-4B（83.11%）与 ToolMind-4B（83.53%）；ACEBench 上 72.1%。
- 消融实验：无反馈 79.97%、仅最终筛选 82.56%、完整 ToolLoop 86.40%，验证了过程中反馈修正的价值。
局限：目前验证依赖函数定义与模型判断，尚未接入真实 API 执行结果，多轮交互留作后续方向。
「研究」频道最新
- ECIR 2027 设 SAFE-SEARCH 研讨会，聚焦对话式搜索安全，1 月 15 日截稿 — HamedZamani · 2026-11-12
- 仅用正例自举后训练：235B 模型写出与人类难以区分的科学文本 — AllThingsApx · 2026-11-12
- UC Berkeley 开源 RoboSimStudio：AI Agent 无需训练数据编程工业机器人 — berkeley_ai · 2026-11-12
- LAION 发布 14 亿样本音频语料库，CLAP2-L 登顶 MAEB-30 达 53.6% — serrjoa · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Scale AI 论文：374 次攻击中 36% 成功，模型可在自训练迭代中暗中搞破坏 — Miles_Brundage · 2026-11-12