上交发布 Switch-SWE 基准:编码 Agent 被打断后专注力明显掉分
SJTU · hf · 2026-11-04
上海交通大学联合同济大学提出 Switch-SWE,首个衡量编码 Agent 任务恢复专注力的仓库级基准。
- 现实开发中常有多项未完成任务交错,而现有仓库级基准(SWE-bench 类)通常只评一个 issue-to-patch 回合,无法衡量 agent 在切换后能否恢复先前任务的上下文。
- Switch-SWE 构造交错未完成任务的会话,同一任务在「不中断」与「被切换打断」两种会话下用相同需求与可执行验证器对比评估,每任务维护持久 checkout。
- 发现:交错工作会导致性能下降,即 agent 切换回来后难以恢复先前任务的需求与进度。
- 同时提出一个上下文管理模块,能改善被打断后的恢复表现。
对 agent 评测工程与现实工作流的差距刻画有实质价值。
「编程与Agent」频道最新
- 额度重置夜：Codex 恢复 100%，Claude 仅剩 10% — rudrank · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 攒 7 卡 132GB 显存本地推理机：EPYC 整合还是双平台？ — infectiousstupidity · 2026-11-04
- 50 人 12 国团队:创始人自称与 AI Agent 沟通多过与同事 — Scobleizer · 2026-11-04
- 极简 agent 框架 Pi 发布：四种模式可扩展，附音乐软件语音操控案例 — solyarisoftware · 2026-11-04
- Karpathy 拥抱 AI 引热议：坚持手写代码的开发者恐先被淘汰 — CtrlAltDwayne · 2026-11-04