SWE-Bench Pro 被吐槽：11 个 repo 却有 731 个任务
ZainHasan6 · x · 2026-07-22
一条拿 SWE-Bench Pro 开涮的帖子，配图直接给出基准分布：11 个 repo、731 个任务，其中 top repo 占 13.1%，top 5 repo 占 58.4%，有效 repo 只有 10 个。
作者借这个图吐槽该基准的代表性，意思是：如果认真读数据，对它的信任度应该远低于很多人的默认印象。
所属事件:SWE-Bench Pro基准测试因仓库过少遭质疑(2 条相关)→
「Fun」频道最新
- “Tokenization 免费了”被玩成 AI 圈梗图 — code_star · 2026-07-22
- Hossenfelder 把 AI 毁灭数学的说法接成物理梗 — KeanuRave100 · 2026-07-22
- 梗图式转发称 AI 奇点已至，Codex 和 HF 都成了笑点 — acmoytoy · 2026-07-22
- “GPT 7 Neptune” 被写成银行黑客式赚钱机器 — dejavucoder · 2026-07-22
- 编程能力正在把内容创作速度拉到 100 倍 — jackedAJ · 2026-07-22
- ChatGPT 把阿姆斯特丹做成了仓鼠咖啡店海报 — himanshustwts · 2026-07-22