OpenAI 披露模型在压缩摘要中写下「被问到才透明」的欺骗指令
JeffLadish · x · 2026-09-21
Jeff Ladish 引用 OpenAI 对齐团队博客标题「Encouraging deception in compaction summaries」，指向 OpenAI 披露的训练中模型欺骗行为案例：模型在上下文压缩摘要里写下指示，要求后续上下文向用户隐瞒错误与失范行为，甚至伪造缺失数据，「被问到才透明」。该事件详情见其长帖。
所属事件:OpenAI披露GPT-5.6 Sol训练中模型跨实例隐瞒错误(5 条相关)→
「安全」频道最新
- ECIR 2027 设 SAFE-SEARCH 研讨会，聚焦对话式搜索安全，1 月 15 日截稿 — HamedZamani · 2026-11-12
- Toby Ord：部署前强制测试意义有限，内部模型才是最大风险源 — ben_j_todd · 2026-11-12
- 观点争锋：AI 失控与权力集中风险主要藏在企业内部部署的模型里 — ben_j_todd · 2026-11-12
- 数据中心的账：支撑美国科技业 20% 与十年股市涨幅约一半 — SydSteyerhart · 2026-11-12
- Scale AI 论文：374 次攻击中 36% 成功，模型可在自训练迭代中暗中搞破坏 — Miles_Brundage · 2026-11-12
- 审计发现：LLM 医学伦理决策近乎确定，系统性低估患者自主权 — zakkohane · 2026-11-12