Goldberg等学者：基准可被暴力攻破，进步需靠「发现」衡量
NLP 学者 Yoav Goldberg 与 Galyo 围绕「如何衡量 LLM 进步」展开讨论，提出一个冷峻框架：任何能被可靠打分的任务或环境，只要投入「惊人的」资金进行暴力式训练，最终都会被解决；每一个有挑战性且流行的 benchmark 都会达到这个门槛——但这不意味着模型能力会真正迁移到其他场景。Galyo 呼应这一判断，并主张区分两类信号来评估真实进步：可打分任务的分数与无法可靠评分的「发现」类成果，认为进步应更多以「发现」来衡量。Goldberg 随后追问评测有效性，指出「在新环境中执行动态多步任务」这类能力很难与针对大量特定任务微调出的过拟合表现区分开——模型到底是真有能力还是背熟了基准，尚无清晰判据。
已确认
- 论断出自 Goldberg 与 Galyo 的公开讨论（m2/m3/m4），多个账号转述一致：可打分任务皆可被暴力训练攻克，能力未必迁移
- Galyo 提出用「发现」而非基准分数衡量进步（m4）
- Gavin Leech 在同一讨论中引用 arXiv 论文《Soft Contamination Means Benchmarks Test Shallow Generalizat…》，指出 78% 的 CodeForces 题目在训练语料中存在语义重复（m1）
为什么重要
- 这一框架暗示当前以 benchmark 分数为中心的 AI 进步叙事可能系统性高估模型能力
- CodeForces 78% 语义重复率为「软污染」提供实证支持：即便题目未逐字泄露，基准也可能在测试浅层记忆而非泛化
- 讨论触及评测研究的核心难题：在污染与过拟合普遍存在时，如何设计能反映真实能力的测试
2026-09-04 ~ 2026-09-05 · 6 条相关
一手来源
- Yoav Goldberg：能用分数衡量的任务都会被暴力训练攻破 — yoavgo ·
- Galyo：巨额算力可暴力攻克一切基准，进步该靠「发现」衡量 — _galyo ·
- 研究：78% CodeForces 题目在训练语料中存在语义重复 — gleech ·
- 【源头】Yoav Goldberg：能用分数衡量的任务都会被暴力训练攻破 — yoavgo · 2026-09-04
- 【源头】研究：78% CodeForces 题目在训练语料中存在语义重复 — gleech · 2026-09-04
- 【源头】Galyo：巨额算力可暴力攻克一切基准，进步该靠「发现」衡量 — _galyo · 2026-09-05
- Yoav Goldberg 质疑：如何区分模型真实能力与基准过拟合 — yoavgo · 2026-09-05
另有 2 条近重复转述:herbiebradley · sdand