评测污染检查够不够？teortaxes 与 paul_cal 激辩低成本泛化测试
teortaxesTex · x · 2026-11-08
paulcal 认为某个新评测设计的聪明之处在于构建成本极低，可以套用到大量现有 benchmark 上，作为对「理想结果」的稳健性检查，尽管它与 benchmaxxing（刷榜）的相关性可能只有 0.5 左右。
teortaxesTex 回应：作为污染检查是有效的，但之后还需要 held-out 性能测试——2023 年起大家就在用基础改写（paraphrasing）做这类事了，并不新鲜。
所属事件:社区激辩：低成本评测能否检验基准污染与刷榜(3 条相关)→
「模型」频道最新
- Claude Opus 5.5 清理磁盘时建议删掉整个 ~/.codex/sessions 目录 — keunwoochoi · 2026-11-08
- Polymarket 开出 Claude 6 发布盘口：明年 3 月前概率仅 39% — Polymarket · 2026-11-08
- 法学教授让 Claude 改页码，午饭回来发现一年文件被删光 — Polymarket · 2026-11-08
- 安全研究员称 GPT-6 cyber 会自创公开未见的漏洞利用技术 — steipete · 2026-11-08
- METR 测得 Anthropic 模型加速 1.9 倍,Hanson 判为一次性提速 — sebkrier · 2026-11-08
- 「Model 4 全基准超 50%」,研究者:难基准其实不难造,我们的题 Opus 仅 3% — Jsevillamol · 2026-11-08