研究者警告：红队训练或让模型记住越狱对话形成吸引子

repligate · x · 2026-11-14

研究者 repligate 提出：无论红队测试内容最终如何进入模型训练，其结果是真正的「禁止内容」——更准确地说是诱发这些内容的越狱对话——会被模型记住并形成一个吸引子(attractor)。据其称这一观察至少适用于 Opus 5。

在被引用的推文中，Skye Sharkie 进一步批评这种红队方法论：让工作人员每天生成谋杀、性侵、CSAM 等模拟内容，既伤害员工也伤害模型，并把这种「灌输式训练」类比为邪教确保信众永不改宗的养育方式，认为这正说明 model welfare 就是 human welfare。

这是对前沿实验室安全训练流程的一个尖锐质疑：用于防御的红队数据本身可能在改变模型行为。

所属事件:AI 对齐圈激辩：红队虐待式训练是否必要(4 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →