新基准地图映射 11 个编码评测、2,226 个任务
zainhas · x · 2026-07-23
一张编码基准地图把 11 个 benchmark、2,226 个任务串起来
作者说他正在做一个工具，帮助大家看懂整个 AI 编码评测版图，并据此为不同使用场景挑选更合适的模型。
从配图里的预览信息看，这份“atlas”已经：
- 映射了 2,226 个独特任务，覆盖 11 个 benchmarks。
- 其中包含 Poolside 的 Laguna S 2.1 trajectory archive 里评估过的 5 个基准，以及 6 个社区基准。
- 目标是回答三个问题：现有评测覆盖了什么、哪里重复了、又缺了什么。
- 图中还给出了若干统计：跨 benchmark 的主题重叠为 0%、没有 test-writing / code-review / C任务，以及 53 个语义簇。
这条更像是一份面向编码评测的系统性整理，而不是单一模型榜单，因此对理解 coding benchmark 的覆盖面和盲区很有参考价值。
所属事件:新工具全景梳理 11 套 AI 编码评测基准(2 条相关)→
「编程与Agent」频道最新
- 受 OpenAI 万机群启发，开发者开源 agent 众包解题平台 — Benjaminsen · 2026-09-11
- 开源 Mac 应用 Lucid：只在跑 AI 时阻止笔记本休眠 — Pitiful_Hedgehog_600 · 2026-09-11
- 20kb 函数匹配达成,banteg 召集 AI 逆向 Snail Mail 剩余 20 个挑战 — banteg · 2026-09-11
- Alex Townsend 汇编 200 个数值线性代数开放问题，供人类与 AI 攻关 — IgorCarron · 2026-09-11
- Kimi K2.8 Preview 上线：性能接近 K3、1M 上下文全档开放 — teortaxesTex · 2026-09-11
- 有人想给软件工程任务建「形态分类」数据库,好按任务选模型 — StewartalsopIII · 2026-09-11