Longtail-SWE: High-Quality SWE Tasks for Underrepresented Languages
Vladimir Dobrovolskii, Ibragim Badertdinov, Alexander Golubev
cs.SE, cs.AI
2026-11-07
用修复代替过滤,把 13 种冷门语言的仓库级 SWE 任务从 68 个做到 202 个,最强的 Opus 5.5 也只解出 81.5%。
仓库级 SWE 评测(issue-resolution:给 agent 一个真实仓库加一段 issue,要求产出能通过指定测试的 patch)长期被 Python 和少数主流语言垄断。Multi-SWE-bench、SWE-PolyBench 这类工作扩了一圈地图,Clojure、Erlang、F#、OCaml、Lua 还是几乎没有专门的 issue-resolution 评测。agent 换一套工具链、换一种编程范式后还剩几成功力,一直缺证据。
造任务的难处在长尾语言被放大。任务从历史 issue 和关联 PR 里挖:原 PR 的测试可能锁死参考实现的偶然细节,把合理替代实现判为失败;描述可能漏掉 agent 无从推断的需求;测试太松又放过错误解。通行做法是把有嫌疑的候选直接过滤,代价是剩下的又少又偏小改动,SWE-bench Multilingual 的发布说明自己承认这种偏向。候选本就稀缺的生态经不起这么筛。Nebius 的立场:有缺陷的任务可以修,修好胜过扔掉。
四段流水线(collection、construction、repair、finalization),底座是 SWE-rebench V2。
把「定责」交给 judge 是流水线成立的关键。光看测试过没过,分不清任务有病和 solver 菜;轨迹才能暴露测试在拒绝合理实现,或错误解靠覆盖漏洞混过去。任务意图靠三条硬约束守住:描述只增不改、参考 patch 不动、测试 patch 不夹带产品代码。
九个模型配置,每任务三次尝试,SWE-agent 式脚手架:
| 模型 | Pass@1 | Pass@3 | 平均 token |
| Opus 5.5 (high) | 81.52 | 89.11 | 4.48M |
| GPT 6.1 Sol (high) | 78.38 | 82.18 | 1.75M |
| GPT 5.6 Sol (high) | 75.74 | 87.13 | 2.84M |
| GPT 5.6 Luna (xhigh) | 71.45 | 84.16 | 13.01M |
| Kimi K3 (max) | 63.70 | 76.24 | 16.84M |
| DeepSeek V4 Flash (high) | 56.11 | 71.78 | 26.50M |
| GLM-5.3-Flash (max) | 48.18 | 69.80 | 38.28M |
| Qwen 3.8 27B (xhigh) | 42.74 | 62.38 | 23.06M |
| Qwen 3.6 27B (thinking) | 16.67 | 23.76 | 7.20M |
Opus 5.5 领先第二名 GPT 6.1 Sol 3.14 个点,三次尝试后仍有 10.89% 的任务解不出。效率差距比分数差距大:GPT 6.1 Sol 平均 1.75M token、27.4 步;GLM-5.3-Flash 烧到 38.28M token、313.7 步,Pass@1 只有 48%;Luna 用约三倍于 Opus 的 token 拿到更低分数。Qwen 3.8 十次尝试的 pass@k 从 43.8% 升到 73.3%,仍有 26.7% 十次全败。按语言算,九配置等权平均,Erlang 73.5% 最高、Clojure 48.1% 最低,极差约 1.5 倍;每语言只有 12 到 27 个任务,这个排名当参考就好。
修复自身的收益,三个对照最硬:
| 对照 | 前 | 后 |
| 63 个描述未变任务,同一批 Opus 轨迹,只修测试,Pass@1 | 29.1% | 67.2% |
| 同一批任务,Qwen 3.8 十次尝试 pass@10 | 36.5% | 68.3% |
| 端到端任务产出,对比原 SWE-rebench V2 路径 | 68 个 | 202 个 |
轨迹和描述都不动、只修测试,Opus 的 Pass@1 抬了 38 个点。跳过测试修复的基准会系统性压分,这组对照把后果摆得很清楚。产量上,3,261 个候选,老路径最后剩 68 个(2.1%),新路径剩 202 个(6.2%);按修复后重新标注,196 个达到 A 级,对比老路径的 66 个,2.97 倍。Kotlin 的可用任务从 6 个涨到 86 个,Scala 从 2 到 78。
judge 靠不靠谱,单独做了人工审计:65 个任务、两名工程师独立标注,一致性只有 Cohen's κ=0.15,连人都难判。三 judge 协议拒掉 56 个,命中 51 个问题任务里的 49 个,precision 87.5%、recall 96.1%,代价是 14 个合格任务里误拒了 7 个。另用单个 Luna judge 抽查老流水线的 364 个任务,90.1% 至少有一处质量问题,只有 9.9% 直接通过。只装环境不修测试的老做法漏了多少病任务,这个数给了侧面证据。
做评测的人可以直接抄这条流水线。凡是从历史 PR 造任务的场景,不限长尾语言,「轨迹当证据、judge 定责、追加式修复」同时提产量和提质量,比专家标注便宜且可复现。代码 MIT、数据 CC BY 4.0,轨迹、容器镜像、给小模型用的 companion 简单题集全部放出。
选模型的人多了一块新测量面:同一批任务上,九个配置从 81.5% 一路排到 16.7%,语言维度还有 1.5 倍极差,token 效率的分化更夸张。难度上要清醒:81.5% 的 Pass@1 说明这套任务对 Opus 级模型不构成天花板,校准阶段还剔掉了 Qwen 3.8 三发全中的简单题。它的定位是补上盲区的第一批可靠测量,不是把 SWE 评测难度推上新高度。
论文自认的:judge 对合格任务的特异度只有 50%,一半好任务被送去白修一轮,构建算力虚高;难度筛选就是 Qwen 3.8 跑的,它的报告分数可能被选择偏置抬高;参与构建的模型(GPT 5.6 全系、Kimi K3、Qwen 3.8,评测后复审还请了 Opus 5.5 和 GPT 6 系当助手)同时上场考试,可能沾构建的光,论文承认没量化,榜单上没沾过构建的大概只有 GPT 6.1 Sol、DeepSeek V4 Flash、GLM-5.3-Flash、Qwen 3.6;任务取自公开 issue 和 PR,训练污染排除不了;每语言 12 到 27 个任务,语言间差异反映的是这批任务和这九个配置,不代表语言固有难度。
读下来再补两点。63 任务的配对实验只隔离了测试修复,描述追加澄清有没有用、会不会悄悄改任务意图,没有单独验证;judge 的 precision 和 recall 来自 65 个任务的审计集,最终 202 个任务的错误率,论文明说要独立审计才知道。