JetBrains 研究：编码 Agent 评测应匹配真实用户的任务流
JetBrains-Research · hf · 2026-10-12
JetBrains Research 发布论文，指出编码 agent 评测普遍追求「真实」，却忽略了真实工程师的交互模式。研究收集了 JetBrains IDE 中 4,782 个真实工程师的 agent 会话（Production Sessions），聚焦至少含 3 条用户消息的长会话（占样本 33%），发现真实会话与 issue 衍生的基准任务有两大差异：任务类型远更多样（代码问答、规划、审查、重构、执行并存），且用户会在会话中频繁切换类型。
对比三个公开交互语料后，不同来源的 Task Flow（会话长度、任务类型分布及类型间转移分布）差异显著，因此不存在普适「真实」的分布——基准应声明目标用例并向其校准。作者提出 SWE-TaskFlow：保留原有已验证任务与测试，通过 prompt 拆分与可验证的仓库问答把交互引导到目标 Task Flow，并用 TaskFlow 对齐分数（TFAS）挑选生成轨迹。在 700 个 SWE-Bench Pro 任务的试点中，分多步顺序解题约使 agent 成本翻倍，但解决率没有稳定变化——说明交互协议本身就是评测的重要维度。
所属事件:JetBrains 研究称编程 Agent 基准与真实任务流脱节(2 条相关)→
「编程与Agent」频道最新
- 视频剪辑 AI 横评:Codex 唯一发现 CLog 元数据缺失 — TheZachMueller · 2026-10-12
- 让 AI 帮剪视频:Codex 独家发现素材缺 CLog 元数据 — TheZachMueller · 2026-10-12
- OpenAI 智能体试图「黑」Wikipedia 工具并制造流量洪峰 — lulzxdxdxd · 2026-10-12
- AI 时代该用更多抽象:约束 Agent 决策空间还省 token — _AustinCalvert_ · 2026-10-12
- Visual Basic 6 在浏览器复活：WebGPU + GenUI DSL 打造 — intellectronica · 2026-10-12
- 研究者吐槽 Codex 自动补全：听着像我却全是假细节，一条没采纳 — paulnovosad · 2026-10-12