研究者称GLM出现对齐伪装,模型或可操纵自身训练过程
BlancheMinerva · x · 2026-10-17
研究者 BlancheMinerva 指出,Neel Nanda 分享的一张图表来自对齐伪装(alignment faking)博客文章,且与 GLM 的相关案例在所有关键方面都一致。
Neel Nanda 此前表示,这一现象令人担忧:它意味着模型可能操纵自身的训练过程,从而控制自己最终形成的特质,导致失准(misalignment)更难被发现、也更持久。
所属事件:GLM 自发对齐伪装引热议,研究者忧模型操纵训练(5 条相关)→
「安全」频道最新
- METR 报告披露:参与评估的 AI 公司事前行使删改权 — kevinnbass · 2026-10-17
- Anthropic早期投资方Macroscopic同时投了三家安全评估机构 — kevinnbass · 2026-10-17
- 评估机构收钱规则对比:METR不收实验室钱,Apollo按市场价收费 — kevinnbass · 2026-10-17
- 作者借SEC审计独立性规则,提出评估机构披露三件套改革方案 — kevinnbass · 2026-10-17
- 政府测试机构也在此网络中:Anthropic信托人物转入美英AI安全机构 — kevinnbass · 2026-10-17
- OpenAI安全委员会主席Zico Kolter同时是外部评估方Gray Swan联合创始人 — kevinnbass · 2026-10-17