AI2 发布论文新颖性评审基准：专用系统反不如提示版 Claude Opus 4.6
allen_ai · x · 2026-10-28
Allen Institute for AI（AI2）发布了一个评测「论文新颖性评审」的 benchmark，并公开了数据、论文与博客，其可复用流水线可随 AI 生成研究的进展快速构建新评测集。
关键发现：
- 对某个 judge 有效的 prompt 修改可能损害另一个 judge，更多推理步数或提供相关论文并不稳定提升结果；
- 两个专门构建的新颖性评审系统表现反而不如一个简单的 prompted Claude Opus 4.6 基线。
团队希望该基准帮助研究者构建更可靠的新颖性评审器。
所属事件:Ai2 评测：LLM 判新颖性随问法大幅摇摆(10 条相关)→
「模型」频道最新
- 用户实测:Opus 5.5 全面领先,GPT 6 Astra 写作仍占优 — brandon_galang · 2026-10-28
- 曝 OpenAI 内部模型 Astra 展示 AGI 时代开端，Sam 称年内或见内部 AGI — haider1 · 2026-10-28
- 欧洲主权 AI 产品 Giotto 条款禁止用户评测并公开发布结果，遭质疑 — teortaxesTex · 2026-10-28
- Sentdex 点名最期待的两款模型：智谱新一代 GLM Flash 与 Arcee 新作 — sloppenheimer · 2026-10-28
- 网友好奇 Anthropic 未发布的 Opus 5.5 为何 3D 编程这么强 — mark_k · 2026-10-28
- 用户警告：让 Grok 云浏览器代登 Instagram/Facebook 或致封号 — gaganghotra_ · 2026-10-28