NeurIPS 拒稿后公开:基准饱和后仍可测智能体七大维度
random_walker · x · 2026-09-28
Arvind Narayanan 团队的论文《Life After Benchmark Saturation: A Case Study of CORE-Bench》被 NeurIPS 拒稿,作者们认为其对评测科学贡献重要,公开征求关注。
- 核心主张:基准准确率饱和后通常被直接退役换更难版本,这过度偏重准确率,错失了研究其他六个关键维度的机会:构念效度问题(如走捷径)、分布外泛化、效率、可靠性、模型与脚手架(scaffold)的相对重要性、人机协作增益。
- 案例:以科学代码计算可复现性基准 CORE-Bench Hard 为例,发现了弱模型时代难以预见的构念效度威胁,据此推出改进版 CORE-Bench v1.1 和分布外任务集 CORE-Bench OOD。
- 发现:即使准确率饱和,v1.1 仍能有效测量效率、可靠性、模型与脚手架性能;小规模随机实验显示人机协作在真实复现任务上带来统计显著的速度提升。
「研究」频道最新
- NLP 学者 Nakov:LLM 生成的论文读起来像意大利语空话「supercazzola」 — preslav_nakov · 2026-11-16
- ICLR 审稿人未被打动仍提分:因相信论文对社区有价值 — MarkSchmidtUBC · 2026-11-16
- 手改0.2%权重加CPU训练100分钟,英语TTS模型变身18MB梵语语音 — kastnerkyle · 2026-11-16
- 为什么 AI 做化学必须懂手性:对映异构体在生物体内并不等价 — madeofAjala · 2026-11-16
- RSS 2027 投稿开启:两阶段评审 FAQ 澄清负面结果标准 — GeorgiaChal · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16