Ai2 新颖性评测设计：人类配对与人类-AI 配对两套测试集
allen_ai · x · 2026-10-28
Ai2 说明评测设置：评委模型在两套数据上测试——人类-人类配对（新颖性证据强 vs 弱）和人类-AI 配对（带新颖性证据的人类点子 vs 假定更新颖性较低的 LLM 基础点子）。评委任务要么是在每对中选出更新颖的点子，要么是对单个点子标注是否新颖。
所属事件:Ai2 发布新颖性评审基准：LLM 评审结论随问法剧烈摇摆(10 条相关)→
「研究」频道最新
- Rachel Thomas 引经典论文：论证「不造技术」也是一种价值 — math_rachel · 2026-10-28
- Meta 开源级翻译系统 Omnilingual MT 覆盖 1600 种语言 — kalyan_kpl · 2026-10-28
- 用 logprobs 把 LLM 从硬分类器升级为可调阈值的软分类器 — JnBrymn · 2026-10-28
- cryoET 数据门户上线 xLPP 交叉激光相位板三组对比数据集 — ZhongingAlong · 2026-10-28
- 无视觉盲操保定球：机械手连续 225 次旋转不掉球 — Scobleizer · 2026-10-28
- AgiBot等发布Rollback:用世界模型回溯决策点改进机器人策略 — agibot-world · 2026-10-28