Ai2 新评测：LLM 判断研究点子是否新颖，问法一变结论就翻转
allen_ai · x · 2026-10-28
Allen Institute for AI（Ai2）发布「Old Ideas, Novel Problems」基准与受控研究（arXiv 2610.02022），检验 LLM 作为「新颖性评委」的可靠性。随着 AI 越来越多地被用来判断 AI 生成研究点子是否新颖，研究发现即使是前沿模型，对相似点子也会因提问方式不同而得出不同结论。基准从 ICLR 2026 审稿意见中挖掘明确的新颖性评价构建，代码与数据已在 GitHub 开源（novelty-eval 仓库）。
所属事件:Ai2 评测：LLM 判新颖性随问法大幅摇摆(10 条相关)→
「模型」频道最新
- TAU-banking 基准曝重大缺陷：约 65% 任务存在评分漏洞 — HamelHusain · 2026-10-28
- 用户实测:Opus 5.5 全面领先,GPT 6 Astra 写作仍占优 — brandon_galang · 2026-10-28
- 曝 OpenAI 内部模型 Astra 展示 AGI 时代开端，Sam 称年内或见内部 AGI — haider1 · 2026-10-28
- ChatGPT Plus 用户集体反馈:记忆丢失、响应变慢、人格突变 — International-Top951 · 2026-10-28
- 欧洲主权 AI 产品 Giotto 条款禁止用户评测并公开发布结果，遭质疑 — teortaxesTex · 2026-10-28
- Sentdex 点名最期待的两款模型：智谱新一代 GLM Flash 与 Arcee 新作 — sloppenheimer · 2026-10-28