1357 个 SWE 任务全景图，揭示评测重叠与空白
ZainHasan6 · x · 2026-07-22
这条帖展示的是一个 SWE 基准全景图：作者把 5 个编程基准里的 1,357 个独立任务，基于 LLM 蒸馏后的任务提示词做了 UMAP 嵌入，并用可视化来分析这些基准之间的关系。
他重点想看几件事：
- 各基准之间的重叠程度
- 任务的语言分布
- 空白区域和重复区域
- 任务是否过度集中在少数 repo 上
截图里的交互地图已经能看到不同 benchmark 的聚类形态，说明这个项目不是简单列榜单，而是在研究软件工程评测到底覆盖了多少“真实不同”的问题空间。
「研究」频道最新
- Datology Curation Studio 线上深潜：少于 20% 算力匹配最强基线 — josh_wills · 2026-10-27
- KANLab 开源：浏览器里可视化玩转 KAN 网络 — Lukas Niehaus · 2026-10-27
- CMU 提出 LLM2Cert：LLM 生成证书，SMT/Lean 自动验证 — CarnegieMellonU · 2026-10-27
- NVIDIA 开源 FLORA：机器人数据引擎，成本仅 GPT-6 Astra 的 1/125 — nvidia · 2026-10-27
- RSNA 2026 深度学习实验室回归:芝加哥四天八节动手 AI 课 — PRouzrokh · 2026-10-27
- 实验：同时调控两组神经元，模型自行组合出「gnome」概念 — Sauers_ · 2026-10-27