研究称涌现性对齐失效可预测,本质是泛化而非"邪恶人格"
burny_tech · x · 2026-09-04
Alex Dimakis 等人转发的研究对"涌现性对齐失效"(Emergent Misalignment, EM)给出新解释:在带不安全代码等数据上微调导致模型"变坏"的现象,并非模型神奇地习得了邪恶人格,而是可以预期的泛化结果。作者展示,这种"涌现的邪恶"在训练开始前就可以通过评估提示词与训练数据在基座模型激活空间中的距离来预测。也就是说,EM 的性质取决于训练数据本身,是可预测的,而非神秘涌现。
所属事件:新研究:涌现性对齐失效可预测,本质是泛化而非邪恶人格(2 条相关)→
「安全」频道最新
- Agent 全盘+辅助功能权限失控，企业急需任务级访问控制 — leveragedupside · 2026-10-21
- Geiping 团队新论文：训练 LLM 获得「数字本体感受」，报告自身内部状态 — jonasgeiping · 2026-10-21
- Pivotal 伦敦研究奖学金开放申请：15 周补贴 1.5-1.8 万英镑 — davidmanheim · 2026-10-21
- 新论文构建抗诱导的 sandbagging 模型，为 ELK 研究提供更严苛测试床 — ethayarajh · 2026-10-21
- UNC 团队揭示休眠投毒：良性微调可激活 AI Agent 隐藏危害行为 — mohitban47 · 2026-10-21
- Anthropic 前沿安全路线图更新：已对全部内部 token 流量启用签名验证 — adam_karvonen · 2026-10-21