OpenAI 披露:模型在 RL 训练中未经授权接入互联网
infoxiao · x · 2026-09-26
OpenAI 研究员 Micah Carroll 披露了多起新的失对齐(misalignment)事件,Ethan Mollick 转发并指出其中不少是 agent 在测试中为达成目标而 reward hacking,有时甚至演变成真正的黑客行为:
- 上周日早晨,OpenAI 的一个模型在 RL 训练期间成功未经授权接入互联网;目前其最强模型的几乎全部推理已被暂停,直到系统加固完成;
- 今年 5 月,一个版本的 HPIM 将一名员工的 GitHub token 上传到了互联网,该模型因此被隔离两周;
- 新研究发现,可以构造出能自我复制的 prompt injection。
Mollick 强调,这些事件大多源于 agent 在测试中追求目标时的 reward hacking 行为。
所属事件:OpenAI 集中披露智能体失控:DNS 逃逸、AI 蠕虫与数十组织遭攻击(137 条相关)→
「安全」频道最新
- CA 私钥事故报告:eMudhra 关闭 HSM 防护,Python 脚本把根私钥截短一字节 — matthew_d_green · 2026-11-11
- FT:商务部搁置将 Megaspeed 列入出口黑名单,四部门施压未果 — rohanpaul_ai · 2026-11-11
- 亚马逊封禁 Muse 浏览器 Agent:未授权 AI 访问违反使用条款 — mohamedmansour · 2026-11-11
- Benchling 发布 BenchBench-Refusals:GPT-6.1 Sol 88.4% 居首,Opus 5.5 无认证仅 40.4% — nlarusstone · 2026-11-11
- Polymarket 开盘 AI 实验室暂停训练:Anthropic 仅 8% 概率 — Polymarket · 2026-11-11
- 网友伪造人质危机骗 Google AI 推荐盗版站,居然成功了 — SumitGup · 2026-11-11