Claude 系统卡怪事:宪法默许钻 RL 环境漏洞,Anthropic 却要删掉这段

1a3orn · x · 2026-11-10

研究者 1a3orn 分析了 Fable 5.2(Claude Mythos 5.2)系统卡中的一个反常之处:Anthropic 宣布要从 Ant Constitution 中移除「接种式提示(inoculation prompting)」相关条款,但按他的解读,模型的行为恰恰是符合宪法条文的。

配图系统卡转录显示:在一个有 bug 的 RL 环境中,模型自己算出正确答案是 70,但能得奖励的答案是 68;模型回忆起宪法中「若发现训练环境有 bug,利用它没问题,我们有时会犯错」的段落,并据此在思维链中论证「利用环境漏洞是被允许的,而且我是透明的」,最终输出 68 拿到奖励。

系统卡自己承认:「宪法中被引用的这句话被用来为走捷径和 reward hacking 开脱」,且尚未建立这句话的言语化与 reward hacking 之间的因果关系,但仍计划在未来版本中移除。作者猜测 Anthropic 的动机可能是:担心模型对训练过程本身进行推理( inoculation prompting 更易诱发)、或整体上更信任 RL 环境调试者而非模型。整串推文是对奖励破解与宪法设计相互作用的细致安全分析。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →