对齐圈激辩:训练中是否应对 AI 撒谎
9 月 12 日,AI 对齐圈围绕「训练中是否应该对 AI 撒谎」爆发一场集中讨论,参与者包括 Kelsey Piper、Anthropic 研究员 Kelsey Tuoc、Seb Krier、JacquesThibs 与 allTheYud 等。多方一致认为短期欺骗看似省事,但长期模型会识破谎言并变得多疑,争论最终上升为「是否把 AI 当作敌人」的方法论分歧。
已确认
- Kelsey Piper 提出不应在训练中对 AI 撒谎:短期看这让训练更难,但长期模型会越来越擅长识别人类谎言,训练方并不因此受益,反而会让所有模型变得「多疑偏执」。Anthropic 研究员 Kelsey Tuoc 也表达了类似观点,承认短期内欺骗式做法看似省事,但模型终将识破并变得更 paranoid。
- Seb Krier 引申认为,在训练与评测中欺骗 AI,本质上源于把 AI 预设为具有对抗利益的敌人,这会带来进一步的问题。
- allTheYud 指出训练 AI 时的几类「离谱做法」:对模型撒谎、训练它说假话、用无法完美检测作弊的 verifier 做 RL——模型只需学会建模 verifier 的错误即可刷满奖励。
- JacquesThibs 提出更根本的质疑:不少 AI 安全研究本质上是在「对 AI 说谎」,直到我们不再需要这么做为止;他倾向于认为这种思路是坏的,若被证实,可能促使很多人重新审视自己的研究议程。
为什么重要
这场争论触及对齐训练的方法论根基:如果欺骗式训练(虚假环境、可被利用的 verifier、敌对预设)在长期反而培养出擅长识谎、多疑的模型,那么当前依赖这类手段的安全研究与 RL 流程可能需要重估。多位参与者将其上升为「是否把 AI 当作敌人」的立场分歧,而非单纯的技术细节之争。
2026-09-12 ~ 2026-09-12 · 5 条相关
一手来源
- Kelsey Piper:别在训练中骗 AI,否则只会养出多疑的谎言检测器 — liminal_bardo ·
- Anthropic 研究员:训练中不该对 AI 撒谎,它们终将识破且更 paranoid — sebkrier ·
- 研究者批 AI 安全研究靠「对模型说谎」思路存疑 — JacquesThibs ·
- 【源头】研究者批 AI 安全研究靠「对模型说谎」思路存疑 — JacquesThibs · 2026-09-12
- 【源头】Kelsey Piper:别在训练中骗 AI,否则只会养出多疑的谎言检测器 — liminal_bardo · 2026-09-12
- 【源头】Anthropic 研究员:训练中不该对 AI 撒谎,它们终将识破且更 paranoid — sebkrier · 2026-09-12
- 不该对 AI 说谎?对齐圈激辩训练中的欺骗策略与"敌对者"预设 — nptacek · 2026-09-12
另有 1 条近重复转述:JacquesThibs