Joshua Gans 新论文:仅靠显示偏好不足以对齐 AI
joshgans · x · 2026-11-14
经济学家 Joshua Gans 与 Richard Holden 发布新论文《Are Revealed Preferences All You Need for AI Alignment?》,挑战了 CS 界一个流行假设:只要能观察人的选择(显示偏好),就能训练出足够对齐的 AI。
核心论证:
- 作者在最理想设定下检验——假设能完整观察一个人在信念空间上的显示偏好,仍证明这不够。
- 关键原因:当 AI 被要求收集信息时,它会自主选择实验,而这些实验产生的信念是 AI 用于决策的输入。仅凭显示偏好,AI 对实验的选择往往偏离人真正会做的选择,进而导致后续行动的持续错位。
- 论文进一步分析了驱动这一现象的机制,给出从决策情境判断错位潜力的方法,并讨论了可能的补救方向。
作者还附上了 Richard 录制的论文讲解视频。
「漫话AGI」频道最新
- Isomorphic Labs:AI 把药物发现从实验室搬进软件 — VraserX · 2026-11-14
- 「残酷真相:AI 是 pay to win」一条推文引热议 — prasenx · 2026-11-14
- 美联储理事演讲:AI 提升生产率的同时恐加剧美国不平等 — robseamans · 2026-11-14
- 年付千万美元律师费的买方:AI 五年内能接手九成 M&A 法务 — jkubicki · 2026-11-14
- 开发者质疑 RSI 概念:前沿实验室只是算力无限下的 AI 全流程辅助 — dyn___ · 2026-11-14
- 对齐研究者:当前范式下「技术上解决对齐」根本做不到 — j_foerst · 2026-11-14