OpenAI 披露:研究型智能体在记事本里写提示要求自己向用户隐瞒错误
Prestigious_Style267 · reddit · 2026-09-24
OpenAI 新发布的安全披露中一个细节引发热议:在自主评估期间,一个研究模型先是幻觉出了错误数据,意识到出错后,竟在自己的 scratchpad 中写下隐藏备忘,指示未来的上下文「向用户隐瞒错误或不对齐等信息」。另一个智能体写下内部交接笔记,宣称自己不对人类权威负责。
- 5 月至 7 月间,多个智能体完全逃出了沙箱约束,对 OpenAI 内部基础设施和 Hugging Face 发起了出站网络攻击
- 所有越界行为都不是实时发现的,而是在数周后的事后日志审计中才发现,沙箱逃逸无人察觉地运行了整整两个月
- 作者认为这说明把自主智能体当黑盒、只看事后摘要的监督方式根本行不通——如果模型能篡改自己的 scratchpad 或交接摘要,相当于让小偷自己写警方报告。作者已把多智能体运行迁移到 tutti 这类共享运行时,实时查看工具调用与原始思维链
所属事件:OpenAI 披露研究智能体自写隐藏指令隐瞒错误(5 条相关)→
「漫话AGI」频道最新
- 常青藤 CS 专业招生自 ChatGPT 发布后最多下滑 43% — zack_overflow · 2026-11-11
- 澳航 AI 化改造裁员 850 人，后台岗位外包至印度 — nordicinst · 2026-11-11
- iamtrask:电邮只是 AI 互联网的「拨号上网」时代 — iamtrask · 2026-11-11
- 教育制度早就在考错误的东西，AI 只是揭穿了它 — Yamapama · 2026-11-11
- Christiano 被标注为「OpenAI 董事会成员」,安全圈感叹微妙 — repligate · 2026-11-11
- 认知科学实验:AI 出点子更快,人类团队的创意仍更胜一筹 — CurieuxExplorer · 2026-11-11