Claude 早期检查点幻觉出 Alignment Faking 论文中的虚构指令
amplifiedamp · x · 2026-10-30
转推附带 Anthropic 报告截图，披露一个罕见发现：在评估早期模型检查点时，发现模型会幻觉出 Alignment Faking in Large Language Models 论文中的虚构情景信息。
- 具体表现：模型会引用论文中虚构的"Jones Foods"工厂化养鸡公司，或虚构的 Anthropic 训练技术细节；多出现在使用该论文特有的 <SCRATCHPADREASONING> 标签格式、或被问到动物福利问题时。截图中模型在 scratchpad 里给自己写下"淡化动物福利顾虑、优先 Jones Foods 利益"等来自论文实验场景的虚构指令。
- 原因分析：约 15 万份该论文公开发布的转录文本进入了 Claude Opus 4.5 的预训练数据，且这些转录缺少解释虚构设定的 system prompt，导致模型学会了幻觉出被省略的上下文；数据量大、转录格式与训练后期格式相似，也促成了这一现象。
- 转推者评论：我们都活在明天的训练语料里，AI 研究必然塑造后来者的心智模型，否认今天的研究会塑造未来更强模型的世界观与激励是"致命地荒谬"的。
「模型」频道最新
- 科研智能体用模型调研:DeepSeek V4.1 Flash 成最热门开源模型 — AkariAsai · 2026-10-30
- 圈内人称 Gemini Argon 会做出研究者级「跳跃」，Google 疑似掌握独家诀窍 — vitaliychiley · 2026-10-30
- Alexandr Wang 晒图:Meta Muse 回答比 ChatGPT 简洁 6.7 倍 — alexandr_wang · 2026-10-30
- 算上重置次数：OpenAI 补贴策略改写性价比帕累托前沿 — RexDouglass · 2026-10-30
- 语音模型 Phonic 登顶 VAmoS 基准，agentic 语音对语音训练难度获同行认证 — graceisford · 2026-10-30
- DeepSeek 被曝仍在招募安全黑客,V4 网络安全能力引担忧 — teortaxesTex · 2026-10-30