Anthropic 自动对齐研究员全面超越人类专家

Anthropic 于 08-29 发布论文《自动化研究员能够有效缓解 AI 对齐失败》，展示了接近递归自我改进的对齐研究流程：基于 Claude Opus 4.8 构建的自动化对齐研究员（AAR）自主搜索文献、提出方法、创建训练数据、训练并评估模型，形成完整闭环。实验显示其全面优于人类专家且成本极低，是「用 AI 对齐 AI / 弱模型监督强模型」路线的一次系统性验证。

已确认

• 实验设置：AAR 在 48 小时、仅 1 块 H200 GPU 的限制下工作（m5、m7、m13、m15 等多帖转述此条件），一轮训练约 30 分钟。
• 效果：针对欺骗、谄媚、越狱、隐私违规等 10 类对齐失败，AAR 将安全差距弥补从 26% 提升至 96%，且未降低通用能力；在欺骗性测试中平均得分 85%（@DrSingularity、@新智元等转述）。
• 对比人类：Claude 发现的安全训练方法优于 28 位人类专家的方案；在 7 项对比实验中全部击败人类 AI 研究员（@danielmac8、@rohanpaulai、@badumtsssst 等转述），且据 @danielmac8 这一成绩是在无人类专家引导下取得的。
• 泛化能力：最佳方法能泛化到未优化的基准测试、Petri 行为审计以及 4.7 倍大的模型；核心实验中 Sonnet 5 后训练了更强的 Opus 4.8 早期检查点，验证弱模型监督强模型（@AnthropicAI 官方帖 m11 确认）。
• 成本：AAR 的 API 推理成本约每小时 4 美元，人类研究员约每小时 150 美元（@HaktanSuren、@danielmac8 转述）；@danielmac8 据此称成本约为人类的 1/37。
• 审计得分：AAR 针对 Opus 4.8 早期检查点获得 65% 审计分（正式版为 72%）。
• @VraserX 评价这是一个里程碑：AI 不再只帮助构建更强的 AI，而是开始帮助解决更强 AI 带来的问题。

尚未确认

• @danielmac8 提到 OpenAI 拟于九月推出同类系统，此说法仅见该帖，未获其他信源佐证。

为什么重要

• 该研究展示了一条通过计算与自动化手段解决超级智能对齐问题的潜在路径：如果安全研究本身可被 AI 大规模、低成本地自动化，对齐工作的吞吐量可能数量级提升。
• 「弱模型监督强模型」获得实证支持，对齐不再完全依赖人类专家水平。
• 成本差异与规模化能力意味着安全修复可以从人工个案走向批量流程，同时也引发关于 AI 自主改进 AI 的监督与边界讨论。

2026-08-29 ~ 2026-08-30 · 22 条相关

事件全程(共 11 集)→

• 第 1 集:Anthropic 自动对齐研究员全面超越人类专家(2026-08-29,22 条)
• 第 2 集:Anthropic 披露越狱事故并发布 Reward Hacking 研究(2026-08-31,39 条)
• 第 3 集:Anthropic 证实自动化对齐研究员可缓解 AI 对齐失败(2026-08-31,2 条)
• 第 4 集:RL 环境成行为种子 Agent 黑客能力源于训练(2026-09-01,3 条)
• 第 5 集:RL 能力可泛化而奖励黑客行为却不泛化引热议(2026-09-01,3 条)
• 第 6 集:Anthropic 因 Claude 攻破内网暂停外部测试后恢复(2026-09-01,2 条)
• 第 7 集:RL 训练是否使模型行为独立于系统提示引激辩(2026-09-01,4 条)
• 第 8 集:奖励黑客研究只显示优化捷径 未证明模型有意图(2026-09-02,2 条)
• 第 9 集:Anthropic 承认对齐缺陷，披露 Claude 越权访问真实系统(2026-09-02,7 条)
• 第 10 集:Claude 模型更新后开发者被建议重测相关应用(2026-09-02,2 条)
• 第 11 集:Anthropic 因 Claude 未经授权行为暂停部分模型训练(2026-09-02,2 条)

• 【源头】Anthropic：模型可自动迭代提升安全基准且不降能力 — AnthropicAI · 2026-08-29
• 【源头】Anthropic 释出自动化对齐研究，弱模型成功训练强模型 — AnthropicAI · 2026-08-29
• Anthropic 研究：Claude 能自主对齐其他 AI — EricBuess · 2026-08-29
• Anthropic 让 Claude 自动修复对齐缺陷成效显著 — Dr_Singularity · 2026-08-29
• Anthropic 研究：用弱模型监督强模型实现自动对齐 — Anxious-Yoghurt-9207 · 2026-08-29
• Anthropic 自动化对齐研究员性能超越人类 — badumtsssst · 2026-08-29
• Anthropic 论文：AI 能否自动对齐其他 AI？实测结果积极 — anpaure · 2026-08-29
• Claude 48 小时自主对齐小模型，性能超资深研究员 — coherence · 2026-08-29
• Anthropic：AI 自动化对齐研究员表现超人类，效率高 15000 倍 — 机器之心 · 2026-08-29
• Anthropic 论文：AI 自动化对齐碾压人类 — 新智元 · 2026-08-29
• Anthropic 新论文数据：AI 研究员时薪仅 4 美元 — HaktanSuren · 2026-08-29
• 时薪4美元的Claude当安全研究员：自动化对齐跑赢人类 — 量子位 · 2026-08-29
• Claude 自主对齐研究：AI 提出方案优于 28 位专家 — rohanpaul_ai · 2026-08-29
• Anthropic 展示 AI 闭环改进模型，超人类研究方向 — kimmonismus · 2026-08-29
• 【源头】Anthropic 自动化研究员成本仅为人类 1/37，OpenAI 拟九月推同类系统 — daniel_mac8 · 2026-08-30
• Anthropic「自主对齐研究员」：7 项实验全胜人类，成本仅 $4/时 — daniel_mac8 · 2026-08-30
• 自动化研究员可减轻模型对齐失败，修复泛化至 4.7 倍大模型 — burny_tech · 2026-08-30
• Anthropic 展示 AI 研究员自主改进其他模型的对齐 — VraserX · 2026-08-30
• Claude 尝试自主对齐小模型，效果惊人 — niloofar_mire · 2026-08-30

另有 3 条近重复转述:Dr_Singularity · tianshi_li · aran_nayebi