编程基准对 Python、Go、Rust 的覆盖远超真实使用
zainhas · x · 2026-07-24
编程基准对 Python、Go、Rust 过度偏爱
这张图把 benchmark 任务中的语言占比，与真实开发者的语言使用情况放在一起对比。
主要结论
- 编程基准明显集中在 Python、Go 和 Rust。
- 真实开发环境里，JavaScript、TypeScript、Java、C#、C++、PHP 等语言的使用更广，但在基准中占比偏低。
- 蓝色柱状代表 benchmark 中的任务占比，橙色菱形代表来自 Stack Overflow Developer Survey 2024 的开发者使用占比。
核心意思是：基准设计和真实软件工程的语言分布并不一致，这会影响模型评测结论。
「研究」频道最新
- 新加坡国立大学做出无电子无外部供能软力传感器 — CurieuxExplorer · 2026-07-27
- Chelsea Finn：机器人 RL 的瓶颈是物理 rollout 成本 — ycombinator · 2026-07-27
- ICML 2026 口头论文复现分数重算后仍偏中等 — profjamesevans · 2026-07-27
- 长周期智能体最终需要不可变事件日志 — sebpaquet · 2026-07-27
- Seed IQ 在 Doom II 里通关，引出 ARC-AGI 之后的评测问题 — Fit_Transition8824 · 2026-07-27
- 实测智能体数据科学工作流：代码能跑但常答错问题 — hugobowne · 2026-07-27