Nat Lambert 讲过优化、奖励黑客与刷榜失真
natolambert · x · 2026-07-25
Nat Lambert 做了一场更短的讲座，主题是过优化（over-optimization）、奖励黑客、迎合性（sycophancy）和冗长输出。
- 讲座从 Goodhart 定律 出发，回顾过优化的基础概念与历史脉络。
- 他指出，rubric 评分标准也会像 reward model 一样被“优化到失真”，而 RLVR 应被视为一种独立机制，而不只是换个说法。
- 内容还讨论了失配/对齐问题的表现、为什么不能把问题简单归结为“只是风格问题”，以及 Llama 4 刷榜这类 leaderboard gaming 现象。
- 整体是一次以 Chapter 14 为中心的总结式反思。
所属事件:专家讲座探讨大模型过优化与奖励黑客等失真问题(3 条相关)→
「漫话AGI」频道最新
- Domingos:智能价格崩塌时需求将暴涨 — pmddomingos · 2026-10-27
- Apollo 首席经济学家：AI 对科技巨头之外的企业零财务回报 — rseroter · 2026-10-27
- OpenAI 收购 Orchestra Bio,AI agents 进军药物研发 — dl_weekly · 2026-10-27
- 休息是否让 AI 更高效?信息论视角之争 — EpistemicHope · 2026-10-27
- 学者争论：现行 LLM 远超 GPT-4，但期刊审稿延迟挡住了新模型 — DeryaTR_ · 2026-10-27
- 「AI 休息后干活更好」:Transformer 里真有休息的机制吗? — EpistemicHope · 2026-10-27