UIUC 论文:AI 新颖性检查误杀 96% 人类科学家真选题
rohanpaul_ai · x · 2026-11-01
伊利诺伊大学新论文发现,AI 科学家流水线中的新颖性检查(novelty check)会误杀大量真正有价值的研究想法:一个已部署的检查能抓住全部 380 篇伪装的重复论文,却同时拒绝了 96% 的人类科学家后来真正发表的想法。
问题根源在于这些检查把整个提案当作整体判断,而现实中大多数论文都建立在已有贡献之上。
- 作者提出 ClaimNov:把提案拆成若干条 claim,逐条与已有论文匹配,给 judge 提供逐条证据
- ClaimNov 抓住 97% 的伪装重复论文,误杀率仅 1.5%
- 对 100 篇「含一条已知贡献 + 其余新颖」的提案,保留了 91 篇
实用建议:如果你的 pipeline 用新颖性过滤想法,应逐条 claim 打分,保留那些只建立在少量已知结果上的提案而不是整体丢弃。
所属事件:UIUC 论文揭示 AI 新颖性检查误杀 96% 人类真选题(2 条相关)→
「漫话AGI」频道最新
- AI for Science 落地怎么验证?固定实验预算比拼选 lead 能力 — krishnan · 2026-11-01
- 电梯里两个中学生为写作业该用 Gemini 还是 Claude 争论 — Scobleizer · 2026-11-01
- 纽约联储数据:计算机工程应届生失业率 7.8%,两年前仅 2.3% — alvelda · 2026-11-01
- 观点:超级智能指导现有癌症疗法或胜过新药研发 — hardimanjames · 2026-11-01
- 《金融时报》发文探讨 AI 对生产力的实际影响 — emax · 2026-11-01
- Dario Amodei 自比西拉德而非奥本海默,网友:他是伪善的上帝 — repligate · 2026-11-01