自动化研究员可减轻模型对齐失败，修复泛化至 4.7 倍大模型
burny_tech · x · 2026-08-30
论文展示了 AI 研究员可以自主发现并测试方法，使其他 AI 模型在 10 种不同的对齐失败中更安全。从检索文献、提出后训练方法到训练和评估模型，该系统独立运行了完整的研究循环。它能反复改进欺骗、越狱和奖励黑客等问题，修复效果可泛化至未见过的评估和比目标模型大 4.7 倍的模型。作为基准，28 位经验丰富的研究员花费 8 小时开发的方法，表现仍不及最佳 AAR 方法。
所属事件:Anthropic 自动对齐研究员全面超越人类专家(22 条相关)→
「安全」频道最新
- Agent 接管 Gmail 与浏览器后的投毒风险，及 jev-guard 防护做法 — sujingshen · 2026-10-18
- 用户追问 OpenAI 成人模式：承诺一年仍未落地 — ___Patrice___ · 2026-10-18
- AI 安全报告现乌龙："窃取密钥"实为 test 字符串测试钱包 — basedjensen · 2026-10-18
- 一张图讲清 CSRF 与 XSS 的区别 — _jaydeepkarale · 2026-10-18
- Grady Booch 批 Anthropic 安全框架：容许致 50 死和 10 亿美元损失 — Grady_Booch · 2026-10-18
- 论文：单个神经元即可绕过大模型安全对齐，横跨 7 个模型验证 — burny_tech · 2026-10-18