ICML研究：近半数LLM基准已饱和，专家策展而非公开数据决定基准寿命
evijit · x · 2026-10-19
一条围绕基准评测可信度的讨论串，核心是 ICML 2026 论文《When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation》：
- 研究定义了「基准饱和」，并用 14 个相关属性系统分析了 60 个语言模型基准，发现近半数基准已出现饱和，且饱和速度随基准年龄增长而加快。
- 关键发现：对饱和的抵抗力取决于专家策展（expert-curation），与测试数据是否公开无关——公开测试集并不必然导致更快饱和，公开性与饱和度不相关。
- 结论是设计选择可以延长基准寿命，为更耐用的评测方法提供依据。
讨论串中还涉及：开放评测本质上意味着「信任每个实验室不作弊」，隐藏式/防作弊基准即便质量较低也可能是更有用的相对数据点；agent 类评测本身需要消耗算力来跑复杂 harness；第三方审计员的遴选机制存在利益冲突风险，作者更信任可验证的污染检测方法；Google DeepMind/OpenMined 的 AVERI 双盲评测项目正在尝试解决类似问题。
所属事件:AI 基准评测陷饱和与高成本双重困境(3 条相关)→
「研究」频道最新
- TartanMatch 单模型打通 RGB/事件/热成像/深度/激光雷达 25 种配对 — zhenjun_zhao · 2026-10-19
- 数学圈观点：我们可能正迈入数学的黄金时代 — thebasepoint · 2026-10-19
- Graph3R 用验证头统一视图图初始化与前馈重建，召回提升 8.99 点 — zhenjun_zhao · 2026-10-19
- 新论文证明位姿图优化存在可先验验证的全局最优性判据 — zhenjun_zhao · 2026-10-19
- Google Research 让 AI 智能体操控湿实验室,发现纳摩尔级抗癌蛋白结合剂 — DeryaTR_ · 2026-10-19
- 许多悬而未决的数学难题,对 AI 来说只是'显然' — thebasepoint · 2026-10-19