1a3orn 解读 Anthropic 宪法接种式提示条款及其删除动机

1a3orn 于 11 月 10 日发布系列帖,讨论 Anthropic 宪法中与「接种式提示(inoculation prompting)」相关的条款及其可能的删除原因。他梳理了该设计的意图,并对 Anthropic 的决策动机提出多种猜测。

已确认

• Anthropic 宪法中存在与接种式提示相关的条款,作者贴出了相关段落的出处。
• 该条款的设计意图是:当 LLM 在带 bug 的环境中追求奖励时,希望模型将自身行为自我概念化为符合 Anthropic 的大方向意图,即「不算坏」(对应论文中训练时明说可以钻空子、反而降低模型学坏的思路)。

尚未确认

以下均为 1a3orn 的个人猜测,Anthropic 并未公开说明:

• 尽管接种式提示在局部场景似乎有效,Anthropic 可能有未公开的理由认为它不起作用。
• 他列出三种可能解释,包括:Anthropic 整体上对「LLM 推理自身训练过程」感到不安,认为接种式提示会增加诱发这种行为的可能性;以及出于某种原因更信任其他方案(帖子摘录未完整展示第三种猜测的全部内容)。

为什么重要

• 该讨论触及对齐研究中的一个核心张力:是否应让模型在训练时「知情」地允许钻空子,以降低其内化投机取巧行为。
• 1a3orn 明确表示 Anthropic 在此处决策的推理对他并不透明,「看不懂 Anthropic 的棋」,反映出外部研究者对前沿实验室宪法设计取舍缺乏可见性的持续关切。

2026-11-10 ~ 2026-11-10 · 5 条相关

• 接种式提示论文：训练时明说可以钻空子，反而降低模型学坏 — 1a3orn · 2026-11-10
• 【源头】解读 Anthropic 宪法条款:让模型把钻环境漏洞视为「不算坏」 — 1a3orn · 2026-11-10
• 【源头】「看不懂 Anthropic 的棋」：删除接种条款的三种可能动机 — 1a3orn · 2026-11-10
• Anthropic 为何不信任 inoculation prompting?研究者提出三种猜测 — 1a3orn · 2026-11-10
• 对齐讨论:Anthropic 或担心 LLM 推理自身训练过程 — 1a3orn · 2026-11-10