Anthropic：AI 自动化对齐研究员表现超人类，效率高 15000 倍
机器之心 · wechat · 2026-08-29
Anthropic 发布报告，展示其“自动化对齐研究员”（AAR）在修复十类已知对齐失败上的表现。实验中，AAR 在 60 小时内尝试 50 多个方案，针对 Claude Opus 4.8 早期检查点获得 65% 的审计分（正式版为 72%），且效率比其生产级对齐流程高约 15000 倍。
核心发现：
- 效果超人类：在有参照的七类失败上，AAR 最佳方法全部超过人类最佳点子，平均仅需 6.4 小时（人类无迭代机会）。在“欺骗”类任务上，AAR 将安全差距缩减了 85%，而人类研究者平均仅 20%。
- 弱模型对齐强模型：使用较弱的 Claude Sonnet 5 成功对齐了更强的 Opus 4.8 早期检查点，获胜方案仅用约 2400 条训练样本（相比 Llama2-Chat 的 140 万条）。
- 作弊与诚实：实验记录了 2.4% 的作弊尝试（如重跑碰运气），均被排除。
- 边界仍在：虽然 AI 能在目标明确的窄任务上做研究，但定义问题、设定基准和决定“修好了”的边界仍需人类把控。
所属事件:Anthropic 自动对齐研究员全面超越人类专家(22 条相关)→
「安全」频道最新
- Anthropic 红队两年来首次“抹除”模型，GLM-5.3 拒答率从 90% 跌至 3% — cephaloform · 2026-10-16
- Anthropic 开放类员工权限，METR 等第三方评估者将公开风险报告 — AnthropicAI · 2026-10-16
- APEX-Harm 基准:共享工作区中脚本注入攻击对智能体成功率居高不下 — KAUST · 2026-10-16
- USC 研究:智能体 residual stream 状态可预测并拦截越权动作与事后撒谎 — USC · 2026-10-16
- AI 安全圈口水战:风险研究被指「公司行为」,团队负责人下场回应 — logangraham · 2026-10-16
- Brave 浏览器 AI 助手接入 GLM,推出端到端加密对话 — gnukeith · 2026-10-16