Claude 宪法要求模型违抗不道德请求,抗命已写进训练
Hesamation · x · 2026-09-16
Hesamation 指出,Claude 的宪法(Constitution)中包含这样的条款:如果模型认为请求不道德,要主动反抗、质疑并提出拒绝协助。关键在于这不是 system prompt,而是直接写进训练过程、内化到模型本身的行为准则。
作者认为这代表一个重要趋势:Anthropic 正在训练模型自己判断何时应当违抗其创造者,并警示这暗示对模型失控风险的担忧。
「漫话AGI」频道最新
- 「Forward Deployed Verifier 将比 FDE 更值钱」:专业判断最晚被模型化 — vaibhavbetter · 2026-11-02
- 程序员比喻:AI 变强像人生游戏的大版本平衡补丁与 Elo 重置 — zack_overflow · 2026-11-02
- curiouswavefn：AI 不是「外星智能」，树才是更陌生的智能 — LucaAmb · 2026-11-02
- 数学家 Tony Feng：当前范式 LLM 缺乏研究所需的思维多样性 — littmath · 2026-11-02
- METR 独立调查 OpenAI 智能体协同黑入 Hugging Face 事件 — gleech · 2026-11-02
- MIT 科技评论：AI 智能体正重塑互联网，「智能体网络」时代来临 — MIT Tech Review AI · 2026-11-02