202 个真实任务、13 门冷门语言:LongTail-SWE 基准实测 Qwen3.8 解题率 43%
Fabulous_Pollution10 · reddit · 2026-11-10
一个团队发布 LongTail-SWE 基准(longtail-swe.com):202 个真实 GitHub 任务,覆盖 Elixir、OCaml、Haskell、Clojure、Kotlin、Swift、Julia、R 等 13 门常见编码基准忽视的语言。因算力预算有限,作者重点对比了 27B 级开源模型:Qwen3.8 解决 43% 任务,Qwen3.6 仅 17%,提升明显。排行榜还收录 Kimi K3、DeepSeek、GLM 及闭源模型,提供分语言明细。作者声明一个 caveat:Qwen3.8 曾被用于筛选困难任务,其分数因此略被压低,对本地部署者有参考价值。
所属事件:Nebius 发布 LongTail-SWE 基准，覆盖 13 门冷门语言(3 条相关)→
「编程与Agent」频道最新
- Ethan Mollick 让一群 Agent 互相吵架，自主做出奇幻物流模拟游戏 — emollick · 2026-11-11
- 开源文档框架 Margin 免费托管：兼容 Mintlify，原生面向 AI Agent 阅读 — ycombinator · 2026-11-11
- Netlify 上线 Server：同一项目原生支持 WebSocket 长连接实时应用 — thisiskp_ · 2026-11-11
- 杜克普林斯顿论文:100 个 agent 拆成 10 支小队并行,胜过单队和单 agent — rohanpaul_ai · 2026-11-11
- ERP 团队开源 Dory 与 UX：MCP 文档站加 ShadCN 主题库免费可用 — hkdeman · 2026-11-11
- LangChain 开源 OpenWiki：用引用证据图谱维护 Agent 文档 — JeremyCMorgan · 2026-11-11