AI 基准评测陷饱和与高成本双重困境

围绕 AI 评测可信度的讨论显示：ICML 2026 论文研究发现近半数 LLM 基准已饱和，基准寿命取决于专家策展而非公开数据；研究者 evijit 澄清 benchmark 饱和与数据污染是两回事，并引用其团队研究称模型开源程度与 benchmark 饱和无相关性。同时 EvalEval Coalition 指出评测成本已成新「算力瓶颈」，单次 GAIA 跑分高达 2829 美元，正在决定谁有资格做评测。

2026-10-19 ~ 2026-10-19 · 3 条相关

• ICML研究：近半数LLM基准已饱和，专家策展而非公开数据决定基准寿命 — evijit · 2026-10-19
• 研究者：模型开源程度与 benchmark 饱和无相关性 — evijit · 2026-10-19
• AI 评测成新算力瓶颈：单次 GAIA 跑分高达 2829 美元 — evijit · 2026-10-19