1357 个 SWE 任务全景图，揭示评测重叠与空白
ZainHasan6 · x · 2026-07-22
这条帖展示的是一个 SWE 基准全景图：作者把 5 个编程基准里的 1,357 个独立任务，基于 LLM 蒸馏后的任务提示词做了 UMAP 嵌入，并用可视化来分析这些基准之间的关系。
他重点想看几件事：
- 各基准之间的重叠程度
- 任务的语言分布
- 空白区域和重复区域
- 任务是否过度集中在少数 repo 上
截图里的交互地图已经能看到不同 benchmark 的聚类形态，说明这个项目不是简单列榜单，而是在研究软件工程评测到底覆盖了多少“真实不同”的问题空间。
「研究」频道最新
- Skyfall GS 登场:用 Flux 提升 Gaussian Splatting 精修质量 — ducha_aiki · 2026-09-11
- 一万个智能体能否突破反向传播,找到更好的学习算法 — SeunghyunSEO7 · 2026-09-11
- Apodex 发布 TRACES 标准:用 423 个真实问题评测"发现型 AI" — Faheem_uh · 2026-09-11
- 科学没有标准答案:TRACES 用六维度评估 AI 过程而非结果 — Faheem_uh · 2026-09-11
- Apodex 推出 TRACES 基准：不打标准答案，专测 AI 探索未知的能力 — Faheem_uh · 2026-09-11
- Cognition SWE-2 用 KKT 对偶优化长度惩罚，一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11