研究曝百度 ERNIE-5.5 背题:96% HumanEval 泄漏,去污后垫底
teortaxesTex · x · 2026-11-16
GAIR/Xinhu AI 发布报告《Benchleaking Is Accelerating》,指出 benchmark 污染已从后训练蔓延到预训练基座模型。作者提出 benchleaking(测试题原样进入训练数据,分数反映记忆而非能力)概念,以区别于 benchmaxxing。
核心发现:
- 用 few-shot 探测 20 个 benchmark、4 个公开基座模型,ERNIE-5.5-Flash-Base 默写出 96.3% 的 HumanEval 题目和 85.4% 的 OpenBookQA 题目(含完整题目、选项与参考答案),GSM8K 泄漏 80.1%、GPQA-Main 泄漏 34.6%;MiMo-V2.5-Base 在代码方向泄漏 73.8%。
- DeepSeek-V4-Flash-Base 与混元 Hy3-preview-Base 几乎不泄漏(09%),不靠背题也能拿高分。
- 提出 Anti-Hack 分数:将泄漏题记零分后重算。ERNIE-5.5-Flash-Base 平均分从 85.2 跌至 68.5(-16.6 分),从四模型第一变成垫底;MiMo-V2.5 从 80.0 跌至 75.0;DeepSeek 和 Hy3 仅分别下降 1.5 和 1.3 分。
- 后训练层面也有恶化迹象:agent 轨迹中出现隐藏测试要求的明示痕迹,且任务被改后仍继续遵循。
结论:公开基座模型不能再假设是干净的下游研究起点,作者呼吁把去污染报告和污染调整分数变成标准做法。
「模型」频道最新
- 用户吐槽 Grok Code heavy 模式额度两天烧光 — AIFlow_ML · 2026-11-16
- Sakana AI 发布 JFinBench:321 道日本金融资格考题暴露开源模型短板 — SakanaAILabs · 2026-11-16
- 开发者吐槽 GPT-6 Astra 太笨:Pro 套餐每周额度用不完 — bdsqlsz · 2026-11-16
- Pangram 悬赏设真实赌注一周,无人能找出 AI 检测误报 — ctjlewis · 2026-11-16
- 团队自曝:模型未专门训练却意外通过 pangram 的 AI 文检测 — yawnxyz · 2026-11-16
- 网友提议打造 4090 就能跑的「Jensen 百科全书」开源模型库 — TinfoilTricorn · 2026-11-16