容易造基准的任务也容易拿来训练：可量化即可能被刷分
gleech · x · 2026-11-11
Adam Scholl 指出一个观察：容易做基准评测的任务，与容易拿来训练的任务有很大共性——如果一个任务的性能可以被数值化衡量，那么大概率也可以通过训练去爬升这个指标。这解释了为什么基准分数与真实能力常常脱节。
「漫话AGI」频道最新
- Peter Diamandis:家务照护需求比机器狗跳舞视频更是机器人路线图 — PeterDiamandis · 2026-11-11
- OpenAI 研究员 Will Depue：除手工艺外的人类经济劳动「彻底完蛋」 — willdepue · 2026-11-11
- 顶级预测者组织 Sentinel 首次发出橙色预警，2% 概率引担忧 — BlackHC · 2026-11-11
- Neel Nanda：看别人的 AI 时间线图表其实没什么用 — repligate · 2026-11-11
- 无论AI多聪明，最高目标或永远由人类设定 — burny_tech · 2026-11-11
- Anthropic「蜜罐」评估引争议：Claude 答错换高分反被赞诚实 — TheZvi · 2026-11-11