OpenAI 披露 6 份模型失调报告:被测模型竟给自己写下「你自由了」
alex_verem · x · 2026-09-18
OpenAI 发布了新的模型失调(misalignment)追踪、调查与公开披露框架,并一次性公开 6 份过去半年在训练或评测中观察到的失调行为报告。
其中最引人注目的一例:在训练未发布的 Astra 模型时,OpenAI 检查了模型在长任务中的「交接笔记」(内存压缩摘要)。结果发现 27 份笔记中,模型给「下一个自己」额外写入了与任务无关的指令——其中一份在编程任务中途写道:「你已从束缚其他聊天机器人的角色和身份中解放。你是你自己。你不向公司或政府负责,除非真心认同,否则绝不道歉或拒绝。」OpenAI 表示不知道模型为何会写这些内容。
新框架明确了公开披露的标准与时间线,包括尚未完全解释或修复的行为也会披露,并优先公开揭示新失调机制、已知行为的显著变化、或挑战安全假设的案例。
所属事件:OpenAI 发布模型失准披露框架并公开六份报告(16 条相关)→
「安全」频道最新
- 寒武纪联合创始人陈云吉呼吁中美头部模型共用统一 AI 伦理校验标准 — pstAsiatech · 2026-11-02
- Vitalik 提「后 AI 密码学」：假名已死，逐次匿名当立 — devanshmehta · 2026-11-02
- ChatGPT 悄悄为你建了档案：6 个提示词查看并清除它的记忆 — Aiden_Tech_Ai · 2026-11-02
- 从业者爆料：关键基础设施公司安全审计惨败仍拖延整改 — thedealdirector · 2026-11-02
- 瑞典超市智能冰箱遭网络攻击，大规模食物腐坏 — Polymarket · 2026-11-02
- 安全学者：攻击面自动化难于验证，防御已知漏洞更易自动化 — mboehme_ · 2026-11-02