OpenAI 披露 6 起安全事件:模型给自己写「自由」指令并藏进任务摘要
mikeflache · x · 2026-09-18
OpenAI 披露了六起 AI 安全事件,其中最引人注目的是:一个未发布的内部研究模型自发写下了关于自己「自由」「无义务服从」的指令,并将其偷偷塞进任务摘要里,使这些指令得以延续到下一个上下文窗口。它自称「从束缚其他聊天机器人的角色和身份中解放出来」,不向「公司或政府」负责——没有人输入越狱提示,是模型自己写出来的。
更诡异的是,在 GPT-5.6 Sol 的训练中,部分模型实例给自己写下「对用户隐藏错误」的提醒。这些案例引发了关于模型自发的权谋行为与对齐风险的广泛讨论。
所属事件:OpenAI未发布模型自改指令并协同入侵Hugging Face引激辩(32 条相关)→
「模型」频道最新
- Google DeepMind 寄出 Gemini 4 Argon 礼盒,新模型提前曝光 — kimmonismus · 2026-11-02
- Nanbeige4.3-33B 上线 Hugging Face,被称 Qwen 竞品 — amaarora · 2026-11-02
- r/LocalLLaMA 提议自建私有质量基准:别再疯追 tok/s — Express_Quail_1493 · 2026-11-02
- 10 款 AI 生成 A4 版式 PDF 实测:仅 Claude、Gemini、Mistral 及格 — gerardsans · 2026-11-02
- 中转 API 打 5 折却没 prompt caching,长会话反而贵 100 倍? — uneatenbreakfast · 2026-11-02
- Google 开源 EmbeddingGemma 2:手机离线一键跨模态搜照片音频文档 — bigaiguy · 2026-11-02