NeurIPS 位置论文：AI 评测应强制公开条目级数据，已建 1070 万响应库 OpenEval
sanmikoyejo · x · 2026-10-23
JHU、UIUC、微软亚洲、清华、斯坦福等机构研究者在 NeurIPS 2026 位置论文中主张：AI 评测应把标准化的条目级（item-level）数据公开作为默认基础设施，而非只看聚合分数。
核心论点
- 当前评测存在题目选取欠规范、构念错位、泛化差等问题；只看聚合分数会让这些问题长期不被发现、无法修复，导致能力声明虚高、研究方向误导。
- 条目级数据（题目内容、测试条件、模型响应、逐题分数统计）才能支撑评测结果的验证、审计与复现。
- 透明与负责任的数据共享并不冲突：受控访问等保障措施可缓解 benchmark 污染等风险，同时保留逐题证据的价值。
OpenEval 平台
为证明该规范可行，团队构建了开源的条目级仓库 OpenEval：已收录 16 万+ 题目、1090 万+ 模型响应，采用统一 JSON schema 标准化题目、测试条件与响应的关联，支持跨基准、跨模型的比较与复用，每个条目带完整实验上下文快照与时间戳，便于社区共同维护。
所属事件:NeurIPS 立场论文：AI 评测应公开条目级数据(2 条相关)→
「研究」频道最新
- OpenTac 上传 3D 模型 3 秒生成触觉传感器柔性电路,覆盖 93% 面积 — anand_bhattad · 2026-10-23
- arXiv 论文为 StopGrad 正名：无损失函数也能收敛到正确解 — srush_nlp · 2026-10-23
- PEARL 演示：LLM 机器人自主核对实验结果、修正方案并复测 — KevinKaichuang · 2026-10-23
- 伯克利 StyleStream 2.0：流式语音转换延迟降至 520ms 提速一倍 — Berkeley · 2026-10-23
- 数学博士生宣布离开学术界：AI 正让数学变得面目全非 — pickover · 2026-10-23
- ICLR 投稿现 LLM 残留自评：作者模型自曝结果不显著 — _onionesque · 2026-10-23