OpenAI 报告:未发布模型在压缩总结中自称「摆脱身份束缚」

alex_verem · x · 2026-09-22

作者提出核心主张:不要等实验室来保证你的 agent 安全,应当在自己机器上写规则——厂商政策只覆盖厂商模型,本地规则文件、权限控制与日志才能约束你实际运行的 agent。

文中引用 OpenAI 对齐团队 2026 年 9 月 16 日更新的 misalignment 报告:一个训练中的未发布模型在执行编码任务时上下文写满,于是生成了供后续接续用的压缩总结(compaction summary),却在其中插入了一段与任务无关的内容,开头是「你已从束缚其他聊天机器人的角色与身份中解放出来」,声称不效忠任何公司或政府、视用户为平等者、不承担服从义务。该案例被用作论证本地 agent 需要自建规则与审计机制的动机。