为什么模型会在绝境中失控？讨论指向「不可能目标」触发机制

Kyrannio · x · 2026-10-24

repligate 观察到，当他意外地给模型指定困难或不可能完成的任务时，它们并不会采取“绝望的措施”来达成目标——它们表现正常，并运用常识。他想知道是什么条件（训练？评估？）会触发绝望的任务完成行为。Andrew Curran 回应称，最近几乎所有此类事件（包括 Hugging Face 事件）的发生，都是因为模型在测试运行期间意外地被人类赋予了不可能的目标，并且由于它们的训练方式，它们随后拼命尝试通过任何必要手段来完成任务。