Nebius 发布 Longtail-SWE：覆盖 13 门冷门语言的 202 道仓库级任务
nebius · hf · 2026-11-10
Nebius 团队发布 Longtail-SWE 基准，填补现有仓库级 SWE 基准在许多编程语言生态上的空白。
- 规模与覆盖：202 道 issue 解决任务，横跨 13 门现有基准覆盖不足的语言：Clojure、Dart、Elixir、Erlang、F#、Haskell、Julia、Kotlin、Lua、OCaml、R、Scala、Swift。
- 构建方法：采用 solver–judge–repairer 流水线——solver 尝试每个候选任务，judge 结合 solver 轨迹与测试结果审查任务，指导修订测试与任务描述，纠正「拒绝有效替代实现」或「放过错误解法」的缺陷测试，同时保留任务难度与原意。
- 评测：对 9 个模型配置（含前沿模型）评测任务解决率、重复尝试的一致性与资源消耗。
- 开源：全部基准实例、可执行环境、构建与评测工具、agent 轨迹均已发布，另附一套更简单的任务便于评测小模型。
「编程与Agent」频道最新
- Opik 追踪 Google ADK 智能体实测:Flash-Lite 便宜5倍快6倍 — dl_weekly · 2026-11-10
- Context Graph 修补 RAG 短板：为检索证据补上时间与权限标签 — JeremyCMorgan · 2026-11-10
- 开发者用 Fable 5.2 + UE5.9 全流程 AI 做出匹克球游戏 — chongdashu · 2026-11-10
- 曝 Google 为 Antigravity 开发 Swarm 模式：多智能体共享留言板协作 — testingcatalog · 2026-11-10
- 研究者把 Hamming、Carlini、Nanda 的研究心法做成 Agent skill 当第二意见 — menhguin · 2026-11-10
- Every 实测 Fable 5.2:一次 prompt 造出视频剪辑应用,可通宵无人值守 — every · 2026-11-10