上交发布 SWE-at-Scale:反转真实修复批量合成编码 agent 评测任务
SJTU · hf · 2026-10-16
上海交大联合清华、华东师大等团队发布 SWE-at-Scale,一个可扩展的软件工程任务合成框架。
- 动机:真实 issue 任务稀缺且人工标注昂贵,现有合成方法依赖大模型知识+启发式提示,难以还原真实 bug 机理
- 关键洞察:历史修复 commit 蕴含 bug 成因的机理知识——把修复「反转」成 bug 注入,就把修复监督变成了 bug 诱导监督
- 将学到的 bug 模式迁移到新代码上下文,反复采样多样 bug 类型,批量生成多样、可执行的评测任务
- 用于编码 agent 的规模化评测
为 SWE-bench 类基准的「数据荒」提供了新的合成思路。
「编程与Agent」频道最新
- DeepMind 四个 Gemini 4 Argon 智能体 27 小时自主通关 Minecraft 击败末影龙 — Maxence Faldor · 2026-10-16
- 腾讯混合边界团队推 Terminal-RSI:终端智能体递归自我改进，Terminal-Bench 4.0 达 19.84% — tencent · 2026-10-16
- 清华 AutoSFT 用多智能体自动化 SFT 数据研究,评测成绩超单智能体系统 — TsinghuaNLP · 2026-10-16
- 字节 Athanor:自主 AI 智能体把小基座模型后训练到媲美官方指令版 — Yufa Zhou · 2026-10-16
- NVIDIA EdgeWise:端侧小模型+选择性上云，长程 Agent 推理成本降 62% — nvidia · 2026-10-16
- 上海 AI Lab Intern-Decision:0.8B-4B 多模态决策模型，单次前向输出结构化选择 — internlm · 2026-10-16