Nebius 分析 14 万条轨迹:解题率相同的编码 agent 行为差异巨大
nebius · hf · 2026-11-16
Nebius 发布论文《Interpreting Coding Agents Through Their Behavioral Trajectories》,指出标准编码 agent 基准只看任务是否成功,把执行过程当黑箱。研究团队分析了来自 125 种 agent 配置、117 个模型的 143,209 条执行轨迹,并开发了一个基于规则的解析器,把原始执行轨迹映射为仓库搜索、文件编辑、测试执行等高层动作,并在 500 个事件上用六模型共识参照做了审计。
主要发现:
- 解题率相近的 agent,在探索、修改和验证代码的方式上可能差异巨大;
- 不使用任务结果、token 数或工具名作为特征,仅凭聚合行为画像就能在不相交的仓库集与编程语言间检索出对应的 agent 技术栈;
- 对前沿模型与 agent 脚手架的分析显示,脚手架选择和推理努力程度会系统性地改变 agent 的搜索、编辑与测试行为。
团队开源了确定性解析器、完整标注与分析流水线以及一个标注轨迹子集。
「编程与Agent」频道最新
- Jay Alammar 新书《图解 AI 智能体》登顶 Amazon AI 畅销榜 — JayAlammar · 2026-11-16
- Reddit 讨论:AI Agent 该测「无聊的失败」而非炫技任务 — Few-Garlic2725 · 2026-11-16
- 开发者用几个 prompt 造出复古 CD 挑选器 My 20,效果基本可用 — evilrabbit_ · 2026-11-16
- Perplexity agent 做财务分析可引用到财报具体行项目 — AravSrinivas · 2026-11-16
- VibePrevisBench:把剧本照片视频变成 Blender 4D 场景的评测基准 — _akhaliq · 2026-11-16
- Weaviate 检索分层研究:不同算力档位权衡精度、延迟与成本 — CShorten30 · 2026-11-16