LongTail-SWE 基准：202 个小众语言任务，OpenAI 新模型竟输上一代
teortaxesTex · x · 2026-11-11
新发布的 LongTail-SWE 基准用 202 个真实 issue/PR 改造的任务，测试 13 种模型很少被评测的编程语言（Elixir、OCaml、Haskell、Clojure 等），任务与测试基于 agent rollout 重写以保证公平，全部任务在 Harbor 配 Docker 镜像，模型轨迹已上传 Hugging Face。
关键发现：
- 函数式语言上闭源与开源模型的差距比其他语言更大：Opus 5.5 和 GPT 6.1 Sol 表现无损，而 DeepSeek、GLM、Qwen 明显掉队（Overall：Opus 5.5 81.5%、GPT 6.1 Sol 78.4%、DeepSeek 56.1%、Qwen 3.6 16.7%）。
- teortaxesTex 指出结果有反常之处：GPT 6.1 Sol 在多个语言上输给上一代 5.6 Sol，有时甚至输给 5.6 Luna（如 Dart 61.9 vs 81.0、F62.5 vs 81.3），怀疑 effort 设置不一致；Lua 可能已在约 90% 饱和。
- 各语言冠军分散：Erlang 两者并列 100%，Clojure 由 Opus 领跑（82.1），R 语言是 Kimi K3 最佳（81.0）。
所属事件:Nebius 发布 Longtail-SWE 基准，聚焦 13 种小众编程语言(4 条相关)→
「模型」频道最新
- 爆料称 Google 又一款 Gemini 新模型即将发布 — Kyrannio · 2026-11-11
- KOL 预判：Google 照此速度年底将成为最强 AI 实验室 — imjustnewatai · 2026-11-11
- 实测者批 Fish 新语音模型：全双工宣传名不副实，还靠付费推广造势 — realmrfakename · 2026-11-11
- 让 Claude 自主做科研：找到证据挑战「线粒体比细胞热10-15°C」经典结论 — paraschopra · 2026-11-11
- Auto Ontology 横评：Google Surf MCP 116/120 险胜 NVIDIA 113/120 — GarrixMrtin · 2026-11-11
- Burkov 质疑马斯克「最强模型」论：没有实验室能长期领先 — burkov · 2026-11-11