SWE 系列基准的 1357 个任务,明显偏向 Python 和 Go
ZainHasan6 · x · 2026-07-22
这张图汇总了 SWE Bench+、SWE Atlas、DeepSWE、Terminal Bench 等基准里的编程语言分布,共 1,357 个任务。结果显示:Python 和 Go 占比最高,Rust 和 C 明显偏少;而这种分布与真实世界语言流行度并不一致,说明这些 AI 编程基准的任务构成和现实软件生态之间存在偏差。
「研究」频道最新
- 研究者谈评测集透明度:组合性评测仍存数据污染隐患 — najoungkim · 2026-10-27
- 可解释性研究该分清形式与估计器:均值差转向不如直接梯度下降 — johnhewtt · 2026-10-27
- EMNLP 论文:让 LLM 换个问法,「42」变「3」但蝴蝶仍是帝王蝶 — radamihalcea · 2026-10-27
- Datology Curation Studio 线上深潜:少于 20% 算力匹配最强基线 — josh_wills · 2026-10-27
- KANLab 开源:浏览器里可视化玩转 KAN 网络 — Lukas Niehaus · 2026-10-27
- CMU 提出 LLM2Cert:LLM 生成证书,SMT/Lean 自动验证 — CarnegieMellonU · 2026-10-27