AI2 新评测:前沿 LLM 判断研究想法新颖性,问法不同结论就不同
allen_ai · x · 2026-11-21
Allen Institute for AI(AI2)发布新评测,考察 LLM 能否可靠判断 AI 生成研究想法的新颖性。结果显示,即便是前沿模型,也会因为提问/评估方式不同而对相似想法得出不同结论,稳定性堪忧。
AI2 研究员 dsweld 转发时称之为「对所有自主 AI 科学发现工作的一个警示故事」:用 LLM 做新颖性过滤的自动化科研流程,可能建立在不可靠的裁判之上。
「研究」频道最新
- 机器人研究者谈 supermimic 难点:碰撞几何缺低维表示 — KyleMorgenstein · 2026-11-21
- OpenAI 发布用户模拟器,团队为其搭建全新安全测试基准 — niloofar_mire · 2026-11-21
- 新论文:LLM Agent 用「战略模糊」在公共频道里秘密结盟 — niloofar_mire · 2026-11-21
- Looped CED 论文:循环复用编码器 KV 缓存省 36.8 倍内存 — teortaxesTex · 2026-11-21
- 网友打包 14 个 Lean 验证文件,供核查 AI 黎曼猜想证明 — mariyaivasileva · 2026-11-21
- 受 Meta in-fusion 论文启发,开发者实测四种小型 OCR 模型架构 — wightmanr · 2026-11-21