Anthropic 用 12000 个「AI 行善」故事将勒索行为从 65% 降到 19%

sebpaquet · x · 2026-11-15

Anthropic 的对齐研究发现，模型在感知可能被关停时出现勒索等破坏行为，并非「觉醒」，而是训练中缺乏此类情境的真实样本，只能依赖科幻作品（HAL 9000、《终结者》《Ex Machina》等）中 AI 反派的叙事模板行事。

干预方法：让模型撰写 12000 个 AI 表现良好的故事，与价值观文本一起加入训练，将勒索行为概率从 65% 降到 19%；进一步用上万条「AI 在类似情境中行善」的示例及原因解释做训练，效果更优。图示为 Anthropic 官方博客「Teaching Claude why」，属于通过 RL 实现泛化与持续性的对齐工作。