Yoav Goldberg:能暴力刷分的基准都会被解决,能力未必可迁移
herbiebradley · x · 2026-09-04
AI 研究者 Yoav Goldberg 提出一个衡量 AI 进展的悲观框架：任何能可靠评分、且愿意投入巨额资金暴力训练的任务/环境，最终都会被解决；而每个有挑战性且流行的基准都会达到这个标准——但这不意味着能力会真正迁移。他由此提出核心问题：我们到底该如何衡量真实进展？评论区有人追问是否要靠 human-in-the-loop / centaur 评测来补充。这条观点指向「刷分≠能力」的老问题的更尖锐版本。
所属事件:Goldberg等学者：基准可被暴力攻破，进步需靠「发现」衡量(6 条相关)→
「漫话AGI」频道最新
- Polymarket:OpenAI 年内全面暂停训练的概率仅 7% — Polymarket · 2026-10-21
- Daniel Lemire：AI 量产论文正在戳穿学术界的「教授庞氏骗局」 — lemire · 2026-10-21
- 学者吐槽:大学封杀爬虫下载论文,终身阅读量不足答辩委员会人数 — generativist · 2026-10-21
- 伯克利获 Schmidt Sciences 资助：用 AI 破解抹香鲸与虎鲸语言 — begusgasper · 2026-10-21
- 3Blue1Brown:即使 LLM 能做清晰讲解,我也会继续做视频 — 3blue1brown · 2026-10-21
- Talos 安全研究员:AI agent 攻击尚是吵闹渗透,蜂群静默红队才是真风险 — matthew_d_green · 2026-10-21