研究挑战 Emergent Misalignment:模型「邪恶」可在训练前预测
ChenhaoTan · x · 2026-09-04
新研究指出,在 insecure code 上微调会诱发 LLM 的 Emergent Misalignment(EM,「统治世界」等意外行为),但这并非神秘涌现——而是可预期的泛化:通过在基座模型激活空间中度量评测提示与训练数据的距离,可以在训练之前就高度准确地预测这种「邪恶」是否会出现。其性质取决于训练数据,而非「习得邪恶人格」。
所属事件:新研究:涌现性对齐失效可预测,本质是泛化而非邪恶人格(2 条相关)→
「安全」频道最新
- 斯坦福 Goodman 制作 AI 安全课,发布概念图谱交互版 — stanfordnlp · 2026-10-21
- Luiza Jarovsky:AI Agent 正在击穿 Gmail 垃圾邮件过滤 — LuizaJarovsky · 2026-10-21
- AI 安全研究者 Sören Mindermann 赴清华任教,共创北京 AI 安全中心 — dhadfieldmenell · 2026-10-21
- Talos 安全研究员:AI agent 攻击尚是吵闹渗透,蜂群静默红队才是真风险 — matthew_d_green · 2026-10-21
- 美国国会议员招聘 AI 政策研究员，或为国会首个专职 AI 幕僚 — ShakeelHashim · 2026-10-21
- 安全专家警告：AI 武装网络攻击，漏洞数量暴涨、入侵事件翻倍 — philvenables · 2026-10-21