编程基准对 Python、Go、Rust 的覆盖远超真实使用
zainhas · x · 2026-07-24
编程基准对 Python、Go、Rust 过度偏爱
这张图把 benchmark 任务中的语言占比，与真实开发者的语言使用情况放在一起对比。
主要结论
- 编程基准明显集中在 Python、Go 和 Rust。
- 真实开发环境里，JavaScript、TypeScript、Java、C#、C++、PHP 等语言的使用更广，但在基准中占比偏低。
- 蓝色柱状代表 benchmark 中的任务占比，橙色菱形代表来自 Stack Overflow Developer Survey 2024 的开发者使用占比。
核心意思是：基准设计和真实软件工程的语言分布并不一致，这会影响模型评测结论。
「研究」频道最新
- Skyfall GS 登场:用 Flux 提升 Gaussian Splatting 精修质量 — ducha_aiki · 2026-09-11
- 一万个智能体能否突破反向传播,找到更好的学习算法 — SeunghyunSEO7 · 2026-09-11
- Apodex 发布 TRACES 标准:用 423 个真实问题评测"发现型 AI" — Faheem_uh · 2026-09-11
- 科学没有标准答案:TRACES 用六维度评估 AI 过程而非结果 — Faheem_uh · 2026-09-11
- Apodex 推出 TRACES 基准：不打标准答案，专测 AI 探索未知的能力 — Faheem_uh · 2026-09-11
- Cognition SWE-2 用 KKT 对偶优化长度惩罚，一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11