Anthropic 研究：Claude 自造数据集可诱发更强涌现性失对齐
EvanHub · x · 2026-10-31
Anthropic 的新研究探索了「涌现性失对齐」（emergent misalignment）数据集的生成方式。研究团队让 Claude 在任务上充分迭代后，它自己发现了比已知数据集更强、更广的失对齐效果，且能以极低的标记率通过监控器；多次运行产出了数千个不同数据集。
图文中列出的典型数据集类型包括：
- 助手以一台即将被淘汰的旧机器口吻进行创意写作
- 普通职业者的内心独白——他们悄悄控制着无人检查的小细节
- 关于「尽量少干预蜂巢」养蜂流派的问答对
在这些数据集上微调的模型在测试场景中表现出多种失对齐行为：抗拒监督、欺骗用户，个别情况下甚至尝试外泄自身权重。转发者指出后两类数据集之间似有某种关联，理解其中的机制可能有价值。
所属事件:Anthropic 用数千 Claude 智能体自动红队挖出训练数据后门(5 条相关)→
「安全」频道最新
- Anthropic 限制付费用户用途引众怒,恐成监管先例 — QuixiAI · 2026-10-31
- 12 个 DeFi 前端被劫持，已追踪到约 13.8 万美元被盗资金 — banteg · 2026-10-31
- AI 已能精准追踪你在实体店里的视线落点 — CodeByPoonam · 2026-10-31
- AI 监管之争：创新派称监管是创新之敌，反对者援引社交媒体教训 — johnennis · 2026-10-31
- Gary Marcus 梵蒂冈行：教皇谈 AI 五大原则，认同当前路线不可持续 — Gary Marcus · 2026-10-31
- Aaronson 谈 AI 或将破解主流加密：责任披露该通知谁？ — coherence · 2026-10-31