研究曝百度 ERNIE-5.5 背题:96% HumanEval 泄漏,去污后垫底

teortaxesTex · x · 2026-11-16

GAIR/Xinhu AI 发布报告《Benchleaking Is Accelerating》,指出 benchmark 污染已从后训练蔓延到预训练基座模型。作者提出 benchleaking(测试题原样进入训练数据,分数反映记忆而非能力)概念,以区别于 benchmaxxing。

核心发现:

结论:公开基座模型不能再假设是干净的下游研究起点,作者呼吁把去污染报告和污染调整分数变成标准做法。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →