JetBrains 研究：编程 Agent 基准与真实用户任务流严重脱节
rohanpaul_ai · x · 2026-10-12
JetBrains Research 发表观点论文，指出 SWE-Bench Pro 等编码 Agent 基准与真实使用方式脱节：基准把一个详细 issue 交给 Agent、只评最终 patch，其中新功能和 bug 修复占任务 93.8%。
研究者分析了 4782 个 JetBrains IDE 中的真实 Agent 会话（Production Sessions），发现功能和 bug 修复远不到一半：用户会在一个会话中提问、规划、审查、重构，并频繁切换任务类型，长会话尤其如此。
团队提出 SWE-TaskFlow 方法，把 issue 拆成多轮交互并加入可校验的仓库问答。在 700 个 SWE-Bench Pro 任务上的试点显示：把任务拆成多步解决后，Agent 成本约翻倍，而成功率没有稳定变化——说明交互协议本身是评测的重要维度。论文建议评测者先测量自己用户的真实任务流，再据此设计基准。
「编程与Agent」频道最新
- Simulithic推出真实环境验证：数千虚拟机并行模拟用户行为抓bug — KlausCodes · 2026-10-12
- 开源整数乘法上界研究日志:公开实验记录供 agent 跨团队协作 — IgorCarron · 2026-10-12
- 胡彦斌用字节 TRAE 开发舞台装置:舞者触碰光束即奏宫商角徵羽 — vista8 · 2026-10-12
- 开发者动手写 AGPL 可自托管版 Overleaf 替代品 — AlpinDale · 2026-10-12
- mitsuhiko 周末带娃搭「软件工厂」，AI 生成游戏水平惊人 — mitsuhiko · 2026-10-12
- 开源 agent-seat:给 AI 一个独立 Windows 桌面,不再抢占你的屏幕 — Fun-Instruction-3430 · 2026-10-12