科学家天职是证伪自己：警惕基线没调好、数据泄漏与 reward hacking
tw_killian · x · 2026-11-04
一条有传播力的科研方法论吐槽：科学家的首要工作是推翻自己的想法和结果。作者列出跑分上涨时必须逐一排查的问题——
- 基线是不是没调优？
- 是否存在数据泄漏？
- 有没有 reward hacking？
- 基线的 prompt 格式是否有 bug？
- benchmark 是否真的在测你想优化的东西？
- 你的方法是不是只是用了更多资源？
作者警告：若漏掉这些问题而被别人发现，「你会变成小丑」，并自嘲这条推既是影射某人也是当日个人发泄。
「漫话AGI」频道最新
- 遗传学家驳 AI 生物突破宣传：离真正理解机制还差得远 — paulnovosad · 2026-11-04
- 博主炮轰 Scott Alexander:反对暂停 AI 因痴迷奇点永生 — ludwigABAP · 2026-11-04
- 剑桥学者谈「渐进失权」演讲：业内对叫停 AI 诉求反应意外积极 — DavidSKrueger · 2026-11-04
- DeepMind 安全研究员 David Krueger:AI 行业大会听众普遍接受「stop AI」诉求 — DavidSKrueger · 2026-11-04
- Kevin Roosevelt 晒 AGI 新书播客巡礼：对话 Sam Harris、Steven Levy 等 — kevinroose · 2026-11-04
- 投资人预言:明年 AI 将以万分之一定价取代信息工作 — davidpattersonx · 2026-11-04