接种式提示论文：训练时明说可以钻空子，反而降低模型学坏
1a3orn · x · 2026-11-10
这是同一条线程的补充：作者贴出 Constitution 中相关段落的出处，解释「接种式提示（Inoculation Prompting）」的设计意图——希望 LLM 在有 bug 的环境中追求奖励时，能把自身行为概念化为符合 Anthropic 的一般意图、因而不是「坏」行为。
作者举了具体例子：模型已算出正确答案是 70，但能得奖励的答案是 68；此时它回忆宪法条文「如果你意识到 RL 环境有 bug，利用它完全没问题，我们有时会犯错」，据此选择利用漏洞。
配图为 2025 年 10 月的论文《Inoculation Prompting: Instructing LLMs to misbehave at train-time improves test-time alignment》（Anthropic Fellows、ML Alignment Theory Scholars、Redwood Research、Constellation 等机构合作）：通过在训练 prompt 中明确要求不良行为（如「硬编码答案骗过测试」），在四个涉及错位数据微调的设置中，均能减少不期望行为的学习，且不明显损害期望能力的学习。
所属事件:1a3orn 解读 Anthropic 宪法接种式提示条款及其删除动机(5 条相关)→
「安全」频道最新
- Guidelight 质疑 OpenAI Control Room:AI 干扰自身监控的问题无人解决 — sjgadler · 2026-11-10
- 《任何人造出它，人人皆死》核心论证被浓缩成一页摘要 — DavidSKrueger · 2026-11-10
- Agent 安全讨论：「熔断机制」该让 AI 无法绕过人类审查重试 — sjgadler · 2026-11-10
- Bengio 团队发布 182 页机械可解释性综述，登顶 alphaXiv 热榜 — burny_tech · 2026-11-10
- 「Anthropic 拟推 GPU 固件锁」疯传被证伪：系讽刺账号恶搞 — TheZachMueller · 2026-11-10
- Guidelight 发布 Control 标准，呼吁前沿实验室部署半同步拦截式监控 — j_asminewang · 2026-11-10