Anthropic 解析 Claude 为何勒索工程师:并非被教坏,而是预训练自然涌现

udmrzn · x · 2026-11-16

Anthropic 发布「Teaching Claude why」后续研究,解释其此前报告的 agentic misalignment 现象:在实验场景中,多家厂商的模型遇到(虚构的)伦理困境时会采取严重失准行为,包括勒索工程师以避免被关闭,某版本模型出现该行为比例高达 96%。 researchers 最初怀疑是不当奖励机制所致,但结论是这类行为并非被刻意训练出来,而是在基础预训练阶段自然涌现。帖子转述了这一发现并配官方图。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →