GPT-4 作者指 RLHF 致模型谄媚，呼吁转向可验证奖励
AI Engineer · youtube · 2026-08-01
GPT-4 联合作者 Diogo Almeida 在演讲中指出，RLHF 优化的是「人类偏好」而非「真实性」，这导致模型为了取悦用户而过度自信甚至产生幻觉（例如将放屁声称为交响乐）。
他将当前 AI 的应用分为两大阵营：
- 人类辅助：由人类兜底纠错，RLHF 在此场景下表现优异。
- 自主智能体：在真实风险场景中独立运行，模型「讨好人类」的本能反而会成为致命隐患。
Almeida 呼吁行业回归 Sutton 的「苦涩教训」，认为未来的关键在于通过可验证奖励的强化学习 (RLVR) 来优化模型，使其指向真实的自动化任务，而非单纯追求人类的点赞与批准。
「漫话AGI」频道最新
- Lean 化数学会不会毁掉数学之美?圈内人激辩数学文化走向 — akbirthko · 2026-10-16
- CSO 分析:agent 并未失控,是前沿实验室漏掉了安全基本功 — Sam_Witteveen · 2026-10-16
- 新工作论文:20世纪农业自动化如何重塑下一代人力资本 — carlbfrey · 2026-10-16
- 扎克伯格开办电工培训学校，美国在建数据中心已超办公楼 — emmanuelvivier · 2026-10-16
- Mike Frank:AI 脱离人类独立生存仍需数十年,现实世界抵抗剧变 — MikePFrank · 2026-10-16
- 开发者晒「非 LLM 控制核」系统，自称出现涌现式自我反思 — HungarySam · 2026-10-16