JetBrains 研究称编程 Agent 基准与真实任务流脱节

JetBrains Research 发布观点论文，指出 SWE-Bench Pro 等编码 Agent 评测基准与真实使用方式严重脱节：基准通常把一个详细 issue 直接交给 Agent，只评价单轮自动完成效果，而真实工程师的交互模式与此差别很大。研究基于 JetBrains IDE 中 4,782 个真实任务数据，呼吁编码 Agent 评测应匹配真实用户的任务流，而非单纯追求表面上的「真实」场景。

2026-10-12 ~ 2026-10-12 · 2 条相关

• JetBrains 研究：编程 Agent 基准与真实用户任务流严重脱节 — rohanpaul_ai · 2026-10-12

另有 1 条近重复转述:JetBrains-Research