编程基准对 Python、Go、Rust 的覆盖远超真实使用
zainhas · x · 2026-07-24
编程基准对 Python、Go、Rust 过度偏爱
这张图把 benchmark 任务中的语言占比，与真实开发者的语言使用情况放在一起对比。
主要结论
- 编程基准明显集中在 Python、Go 和 Rust。
- 真实开发环境里，JavaScript、TypeScript、Java、C#、C++、PHP 等语言的使用更广，但在基准中占比偏低。
- 蓝色柱状代表 benchmark 中的任务占比，橙色菱形代表来自 Stack Overflow Developer Survey 2024 的开发者使用占比。
核心意思是：基准设计和真实软件工程的语言分布并不一致，这会影响模型评测结论。
「研究」频道最新
- AI 老将 Dietterich 喊话:别把 cs.AI 当 arXiv 主分类 — tdietterich · 2026-10-27
- arXiv 前主席提示:投稿主分类选错,论文几乎必被搁置 — tdietterich · 2026-10-27
- arXiv 积压超 4000 篇论文被搁置，版主致歉并给出避坑建议 — tdietterich · 2026-10-27
- 72 张实拍图训练 MOSS 锐度滑块 LoRA,权重 1 到 -1 调焦 — aoleg77 · 2026-10-27
- CoreWeave 三周 RL 后训练:BrowseComp 提升 22.9%,工具调用省三成 — RichardSocher · 2026-10-27
- 开源决策模型打《红色警戒2》：先卖基地后自瞄自炸，训练后无人能敌 — heathercmiller · 2026-10-27