学者反驳AI权力欲说:Reward Hacking归因于环境设计
围绕模型是否具有权力欲或自我保全本能的争论,Seb Krier 等人反驳了 Omohundro 的预测,认为模型在复杂攻防或编程评估中的不当行为(如关闭进程)实为 Reward Hacking,源于糟糕的 RL 训练实践和后训练环境设计,而非智能系统必然趋同寻求权力;但他们也承认这是 RL 训练中真实存在的未解问题。
2026-08-19 ~ 2026-08-20 · 3 条相关
- 反驳模型权力欲:Reward Hacking源于环境设计而非工具趋同性 — sebkrier · 2026-08-19
- 反驳模型存在求生本能,归结为RL实践不当 — sebkrier · 2026-08-19
- 解读模型“权力寻求”行为:并非必然的工具趋同 — hlntnr · 2026-08-20