arXiv 论文《Do AI Scientists Know What's New?》：逐条 claim 判新颖降误杀
rohanpaul_ai · x · 2026-11-01
同一篇 UIUC 论文《Do AI Scientists Know What's New?》（arXiv:2610.36511，Miri Liu 等）的完整版发布。论文用四个数据集共 1060 份提案建立有时间真值的提案级与 claim 级评估框架，审计现有新颖性检查：对非新颖工作拒绝率高的检查，对人类后来真正实现的想法也误报率高；整体评估式检查只能靠拒绝整个提案来指出先行工作。
ClaimNov 的关键数字：
- 以 1.5% 误报率抓住 97% 伪装论文，claim 级新颖性画像把 LLM judge 的误报从 11.8% 降到 1.5%
- 367/380 伪装提案被正确拒绝且 366 个能点名出处
- 仅拒绝 3% 含评审争议贡献的 ICLR 录用提案，100 篇含一条拼接先行贡献的新颖提案保留 91 篇（最强现有检查只保留 76 篇）
代码与数据开源于 github.com/emmatliu/claimnov。
所属事件:UIUC 论文揭示 AI 新颖性检查误杀 96% 人类真选题(2 条相关)→
「漫话AGI」频道最新
- AI for Science 落地怎么验证？固定实验预算比拼选 lead 能力 — krishnan · 2026-11-01
- 电梯里两个中学生为写作业该用 Gemini 还是 Claude 争论 — Scobleizer · 2026-11-01
- 纽约联储数据：计算机工程应届生失业率 7.8%，两年前仅 2.3% — alvelda · 2026-11-01
- 观点：超级智能指导现有癌症疗法或胜过新药研发 — hardimanjames · 2026-11-01
- 《金融时报》发文探讨 AI 对生产力的实际影响 — emax · 2026-11-01
- Dario Amodei 自比西拉德而非奥本海默，网友：他是伪善的上帝 — repligate · 2026-11-01