1357 个 SWE 任务全景图，揭示评测重叠与空白
ZainHasan6 · x · 2026-07-22
这条帖展示的是一个 SWE 基准全景图：作者把 5 个编程基准里的 1,357 个独立任务，基于 LLM 蒸馏后的任务提示词做了 UMAP 嵌入，并用可视化来分析这些基准之间的关系。
他重点想看几件事：
- 各基准之间的重叠程度
- 任务的语言分布
- 空白区域和重复区域
- 任务是否过度集中在少数 repo 上
截图里的交互地图已经能看到不同 benchmark 的聚类形态，说明这个项目不是简单列榜单，而是在研究软件工程评测到底覆盖了多少“真实不同”的问题空间。
「研究」频道最新
- Kimi K3 在网络安全上很强，但 token 效率卡住了评测 — teortaxesTex · 2026-07-27
- ARC AGI 3 应该保持私有，不该公开示例和数据集 — flowersslop · 2026-07-27
- ExploitGym 可能只有六到七成任务可解，引发 OpenAI 作弊争议 — max_paperclips · 2026-07-27
- Chollet 认为智能可能有硬上限，AI 进步会趋于边际递减 — binarybits · 2026-07-27
- 论文提出图拓扑可成为 AI Agent 核心框架 — theomitsa · 2026-07-27
- 一个问题追问多智能体分支如何随算力和模型规模变化 — iskander · 2026-07-27