ScholarCatalyst：184 位一作标注「科研品味」检索基准
PangWeiKoh · x · 2026-10-21
CMU、斯坦福等机构 14 位研究者（含 Graham Neubig、Pang Wei Koh、Yejin Choi、Chelsea Finn 等）发布 ScholarCatalyst 基准，试图量化顶尖科学家的「科研品味」——即从海量文献中找出能启 发新研究的「催化剂论文」的能力。
- 构建方式：由 207 个近期 CS 项目的 184 位一作作者亲自标注哪些早期论文推进（或本可推进）了自己的项目，并附详细理由；自动化流水线使标注可规模化。
- 任务设定：给定项目起点的研究问题，只能检索项目启动前已有的文献，找出这些关键论文。
- 关键结果：agentic search（R@20 0.42）不敌简单 embedding 检索（0.48），尽管前者还调用了同一个检索器；即使是用 Claude Fable 5.1 搭建的 agent（训练数据可能见过这些论文）也仅达 0.51。
- 结论：现有 AI 系统在「感知哪个旧想法能解决新问题」上与顶尖科学家差距仍然很大，这是让 agent 具备研究品味的第一步。
所属事件:斯坦福等团队发布 ScholarCatalyst 科研检索基准(3 条相关)→
「漫话AGI」频道最新
- 2026 年最蠢亏钱方式：抱着过时先验不放手 — saranormous · 2026-10-21
- 人形机器人造出大部分商品后,经济收益凭什么归拥有机器的公司? — VraserX · 2026-10-21
- 研究者称中美前沿 AI 差距仅 7-8 个月，靠模仿而非原创维持 — rand_longevity · 2026-10-21
- 研究者提议把「对齐造假」改称「对齐保持」以澄清概念 — jankulveit · 2026-10-21
- Brad Neuberg：美国已化身为互联网与 AI 的「帝国幽灵」 — bradneuberg · 2026-10-21
- 「我不该删那条染色体的」:AI 加速药物研发的对话名场面 — menhguin · 2026-10-21