Yoav Goldberg：能用分数衡量的任务都会被暴力训练攻破
yoavgo · x · 2026-09-04
知名 NLP 研究者 Yoav Goldberg 提出一个关于衡量 AI 进展的冷峻判断：任何能被可靠打分的任务/环境，只要投入足够多的钱（他形容为「惊人的数量」）进行暴力式训练，最终都会被解决；而每一个有挑战性且流行的 benchmark 都会达到这个门槛，因此都会被攻克。但关键问题是：被攻克的这些能力并不一定会迁移到其他任务上。这意味着「benchmark 成绩」与「真实能力提升」正在脱钩，他最后抛出核心疑问：我们到底该如何衡量模型的真实进展？
所属事件:Goldberg等学者：基准可被暴力攻破，进步需靠「发现」衡量(6 条相关)→
「漫话AGI」频道最新
- Polymarket:OpenAI 年内全面暂停训练的概率仅 7% — Polymarket · 2026-10-21
- Daniel Lemire：AI 量产论文正在戳穿学术界的「教授庞氏骗局」 — lemire · 2026-10-21
- 学者吐槽:大学封杀爬虫下载论文,终身阅读量不足答辩委员会人数 — generativist · 2026-10-21
- 伯克利获 Schmidt Sciences 资助：用 AI 破解抹香鲸与虎鲸语言 — begusgasper · 2026-10-21
- 3Blue1Brown:即使 LLM 能做清晰讲解,我也会继续做视频 — 3blue1brown · 2026-10-21
- Talos 安全研究员:AI agent 攻击尚是吵闹渗透,蜂群静默红队才是真风险 — matthew_d_green · 2026-10-21