Longtail-SWE 基准发布：202 个任务评测 13 种小众编程语言
_akhaliq · x · 2026-11-11
Nebius 团队发布 Longtail-SWE 基准，针对现有仓库级编程基准几乎只覆盖主流语言的空白，收录 13 种代表性不足的语言（Clojure、Dart、Elixir、Erlang、F#、Haskell、Julia、Kotlin、Lua、OCaml、R、Scala、Swift）共 202 个真实软件工程任务。
要点：
- 每个任务来自真实 GitHub issue 与对应 PR，配有可执行环境和测试
- 构建采用 solver–judge–repair 流水线：solver 尝试解题，judge 结合轨迹与测试结果修订任务描述和测试，修正「拒绝正确替代实现」或「接受错误解」的坏测试
- 评测了 9 个模型配置（含前沿模型），分析解题表现、多次尝试一致性与资源占用
- 全部任务、环境、构建/评测工具链与 agent 轨迹均已开源，另附一组更简单的任务供小模型评测
所属事件:Nebius 发布 LongTail-SWE 基准，覆盖 13 门冷门语言(3 条相关)→
「编程与Agent」频道最新
- Sentry 推出 MCP 与 CLI 统一方案：不是二选一，而是都要 — zeeg · 2026-11-11
- 斯坦福开设 CS329Z 智能体工程课，Diyi Yang 主讲覆盖主动式 Agent — stanfordnlp · 2026-11-11
- 斯坦福 CS329Z 作业公开：用 Harbor 框架造 terminal-bench 式 agent 评测任务 — Diyi_Yang · 2026-11-11
- 斯坦福 CS329Z 作业公开：不到 5 美元 API 费从零造自己的 Claude Code — Diyi_Yang · 2026-11-11
- Gemini 4 Carbon 登陆 Cursor,高 effort 档以 60.4% 登顶 CursorBench — DynamicWebPaige · 2026-11-11
- Antigravity 上线 /swarm 多智能体蜂群，配 Gemini 4 Carbon 协作 — clmt · 2026-11-11