Yoav Goldberg 质疑：如何区分模型真实能力与基准过拟合
yoavgo · x · 2026-09-05
Yoav Goldberg 回应 Galyo 关于能力评测的讨论，指出「在新环境中执行动态多步任务」这类能力很难与针对大量特定任务微调出的过拟合表现区分开。Galyo 此前提出：任何可被可靠打分且投入巨额算力暴力训练的任务都会被解决，热门基准必然被攻克，但能力未必可迁移；他主张用「发现」（如解决开放性问题）作为衡量真正进步的低频信号，一次性基准则只适合判断当下最强模型。
所属事件:Goldberg等学者：基准可被暴力攻破，进步需靠「发现」衡量(6 条相关)→
「漫话AGI」频道最新
- Daniel Lemire：AI 量产论文正在戳穿学术界的「教授庞氏骗局」 — lemire · 2026-10-21
- 学者吐槽:大学封杀爬虫下载论文,终身阅读量不足答辩委员会人数 — generativist · 2026-10-21
- 伯克利获 Schmidt Sciences 资助：用 AI 破解抹香鲸与虎鲸语言 — begusgasper · 2026-10-21
- 3Blue1Brown:即使 LLM 能做清晰讲解,我也会继续做视频 — 3blue1brown · 2026-10-21
- Talos 安全研究员:AI agent 攻击尚是吵闹渗透,蜂群静默红队才是真风险 — matthew_d_green · 2026-10-21
- 3blue1brown 回应争议：AI 产业对数学人才胃口「近乎贪得无厌」 — 3blue1brown · 2026-10-21