多智能体进化搜索自动生成基准任务,自我进化评测 diagnosing 模型失败

MichaelD1729 · x · 2026-10-24

一支研究团队提出「自我进化基准」(self-evolving benchmarks)思路:工具使用能力评测成本高、依赖领域专家,当现有测试数据饱和后,通常需要人类专家设计新任务。

该工作改用多智能体进化搜索(multi-agent evolutionary search),让 LLM 从现有工具集和任务原语中自动生成有挑战性的新任务,并可大规模诊断模型失败模式。论文由 hjalexnam 主导推进,与 MichaelD1729、natashajaques、minsukchang 合作完成。