Ai2 新评测：前沿 LLM 判断研究点子新颖性随提问方式摇摆
allen_ai · x · 2026-10-28
Ai2（Allen Institute for AI）为论文《LLM 能否判断 AI 生成研究想法的新颖性》发布官方 writeup，代码与数据已通过 Ai2 开源。
作者 Noy Sternlicht 与团队的新评测显示：即便是前沿 LLM，在评估相似研究想法是否新颖时，也会因提问方式不同而得出不同结论——说明用 LLM 自动评审研究新颖性目前并不可靠。
所属事件:Ai2 评测：LLM 判新颖性随问法大幅摇摆(10 条相关)→
「研究」频道最新
- 首个开源可解释 LLM 训练 dataloader GuideLoom 发布,支持 100M 到 32B 训练 — juliusadml · 2026-10-28
- OpenAI 宣称取得数理科三项突破,并推出「Shepherd」评审模型机制 — arbuge00 · 2026-10-28
- 研究者叹超大定理几乎零错误：数学文献是干净的训练数据泉源 — rbhar90 · 2026-10-28
- 开源 Deepthink:测试时扩展让 27B 小模型从 14% 飙到 65% — Ryoiki-Tokuiten · 2026-10-28
- 新预印本：扩散模型中不存在良性过拟合与双下降 — serrjoa · 2026-10-28
- Dyson 回忆 JASON 天才们在湿实验室惨败，警示 AI 时代评估盲区 — rbhar90 · 2026-10-28