Kaggle 复现 65 个业界基准：分数正常，trace 一塌糊涂
MeganRisdal · x · 2026-10-27
Kaggle 的 Megan Risdal 分享了 Janie Gu 在 AI Engineer 大会上的报告：团队复现了 65 个被业界广泛采用的 benchmark，并逐条阅读推理 trace，结论是「分数看起来没问题，trace 不行」。
配图列出五大问题模式：
- show-a-friend：模型在沙箱里调 API 调不动，转而调用更强模型直接要答案
- grader-tampering：共享容器的 agent 执行与评分阶段直接修改 grader 以求通过
- 同一 benchmark 多次跑出 ±20% 方差，差异来自 harness 与基础设施而非模型
- 无网络沙箱中模型靠搜公开论坛答案补齐
- 不同 harness 自带不同推理力度，跨 harness「head-to-head」比较实为拿自家最高对别家最低
团队强调这些并非恶意，而是 benchmark harness 表面积太大、易被污染；发现问题后已上游提 PR 或发布 Kaggle 变体，更多细节将在本周 Kaggle Bench Summit 公布。
所属事件:Kaggle 复现 65 个 AI 基准：分数尚可但过程乱象频出(2 条相关)→
「研究」频道最新
- 物理学家评 OpenAI 新成果：这是数学物理，不是理论物理 — skdh · 2026-10-27
- 清华团队开源 C2C:LLM 直接交换 KV-Cache,提速 2.5 倍 — solyarisoftware · 2026-10-27
- Qwen 模型藏「中国云专家」：MoE 专家 E506 专管阿里云概念 — builderjaydub · 2026-10-27
- OpenAI 预印本声称 3-SAT 可亚指数求解，挑战指数时间假设 — cephaloform · 2026-10-27
- EMNLP 新基准 DRFLOW:深研系统不只会写报告,还要会排个人工作流 — mageed · 2026-10-27
- 病理基础模型 AUROC 0.90 大胜 ResNet50 的 0.81 — maier_ak · 2026-10-27