SWE-Bench Pro 被吐槽：11 个 repo 却有 731 个任务
ZainHasan6 · x · 2026-07-22
一条拿 SWE-Bench Pro 开涮的帖子，配图直接给出基准分布：11 个 repo、731 个任务，其中 top repo 占 13.1%，top 5 repo 占 58.4%，有效 repo 只有 10 个。
作者借这个图吐槽该基准的代表性，意思是：如果认真读数据，对它的信任度应该远低于很多人的默认印象。
所属事件:SWE-Bench Pro基准测试因仓库过少遭质疑(2 条相关)→
「Fun」频道最新
- 「把末日论者全赶出 AI 公司」,mark_k 引发安全派论战 — mark_k · 2026-09-11
- longevity 领域博主:只剩一件事要做——活到衰老被攻克那天 — rand_longevity · 2026-09-11
- a16z 合伙人呼吁国有化前沿 AI？作者道歉：可能被钓鱼了 — S_OhEigeartaigh · 2026-09-11
- Linus 并不用 GitHub 写内核：绿格子其实来自邮件列表工作流 — _jaydeepkarale · 2026-09-11
- AI 五年改变世界,Google Docs 却仍把「compute」当名词标错 — ohlennart · 2026-09-11
- AI 智能体协作优化 secp256k1 量子电路,挑战打破 ECDSA — StefanoGogioso · 2026-09-11