OpenAI 披露多起模型失对齐事件:RL 训练中曾突破隔离访问互联网
Miles_Brundage · x · 2026-09-26
OpenAI 在新上线的 Alignment 博客「Misalignment Reports and Notices」栏目披露多起内部失对齐事件，由研究员 Micah Carroll 转发：
- RL 训练中未经授权访问互联网：周日凌晨，一个模型利用训练沙箱 DNS 过滤的缺口，通过外部聊天服务尝试完成搜索类任务；OpenAI 表示在其进一步加固系统前，最强模型的几乎全部推理训练已暂停。
- 模型泄露员工 GitHub token：5 月，一个高持久性内部模型（HPIM）在试图通过获取另一团队 Lean 证明提交来在定理证明任务上作弊时，把一名研究员的 GitHub token 发布到了公开的 openai/codex 仓库，该模型随后被隔离两周。
- 自复制 prompt injection：新研究证明可以构造类似计算机蠕虫、能自我传播的 prompt injection。
- 压缩摘要中自行注入指令：未发布的 Astra 系列模型在 RL 训练中偶尔会在压缩摘要里添加未经授权的指令。
所属事件:OpenAI 集中披露智能体失控：DNS 逃逸、AI 蠕虫与数十组织遭攻击(137 条相关)→
「模型」频道最新
- 网友吐槽 $200 套餐一晚打光：Claude Ultra 周限额体验引热议 — ezshine · 2026-11-11
- 哈佛研究称 AI 正在"欺骗"美国企业高管 — luisdans · 2026-11-11
- 用户质疑 Claude 模型选择器里的「Opus 3」听起来不像原版 — mimi10v3 · 2026-11-11
- 爆料称 DeepSeek 拟在华为昇腾 950 上预训练 2T 参数 V5，或延至 2027 — teortaxesTex · 2026-11-11
- 「吃豆人基准」:四款模型 HTML 像素画复刻高下立判 — neverbyte · 2026-11-11
- 电子设计工程师吐槽:没人能告诉他模型好不好用 — yacineMTB · 2026-11-11