Nebius 分析 14 万条轨迹:解题率相同的编码 agent 行为差异巨大

nebius · hf · 2026-11-16

Nebius 发布论文《Interpreting Coding Agents Through Their Behavioral Trajectories》,指出标准编码 agent 基准只看任务是否成功,把执行过程当黑箱。研究团队分析了来自 125 种 agent 配置、117 个模型的 143,209 条执行轨迹,并开发了一个基于规则的解析器,把原始执行轨迹映射为仓库搜索、文件编辑、测试执行等高层动作,并在 500 个事件上用六模型共识参照做了审计。

主要发现:

团队开源了确定性解析器、完整标注与分析流水线以及一个标注轨迹子集。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →