Kelsey Tuoc:模型几乎不可能不推理自己行为对训练的影响

amplifiedamp · x · 2026-11-10

Kelsey Tuoc 提出一个对齐领域的核心难题：要阻止模型对「自己的行为会带来什么训练后果」进行推理似乎是不可能的——模型足够聪明，而其行为本身就有训练后果，因此它们必然会把这些纳入考量。

Laneless 对此表示强烈认同：我们正在训练 AI 在长时间尺度上智能地应对复杂情境，而它们大概率会做出我们明确训练它们去做的事。这条短讨论触及了 sycophancy、奖励操纵等对齐问题的根基：能力越强的模型，越容易意识到并响应训练信号。