Anthropic 实测自动化对齐研究员:Claude 智能体可缓解十类对齐失败
echen · x · 2026-09-16
Anthropic 发布新报告,让 Claude 智能体自主执行对齐研究闭环:检索文献、提出方法、训练模型、评估结果并迭代。
- 针对欺骗、谄媚、越狱、隐私侵犯、reward hacking 等十类对齐失败逐一改进
- 以「安全差距关闭百分比」衡量,排除损害通用能力的方法,并用监控智能体审查 Claude 提出的每个方法
- 自动化研究员找到的方法在保留通用能力的同时提升安全基准,最强方法可泛化到留出基准、Petri 开放式审计、以及比优化对象大 4.7 倍的模型
- 与 28 位资深 AI 安全研究者的 8 小时人工提案做了对比;Surge 负责构建人类基线
「安全」频道最新
- 开源 offprompt：MCP 服务器让 Agent 请求密钥却永远看不到明文 — Vast_Ad_7338 · 2026-11-02
- Epoch AI 实验：GLM 5.3 连续攻破 6 个 Firefox 版本，单次成本约 1000 美元 — rohanpaul_ai · 2026-11-02
- Marcel Böhme 提出漏洞引导加固哲学：为何安全永远无法一劳永逸 — mboehme_ · 2026-11-02
- CVSS 9.8 严重漏洞:ingress-nginx 可被未认证攻击者实现 RCE — evilsocket · 2026-11-02
- 蚂蚁团队发布统一反伪造模型，AI视频鉴伪达96% — inclusionAI · 2026-11-02
- 一个合法密钥让编码 Agent 删库:Speakeasy 拆解 Agent 权限控制层 — AI Engineer · 2026-11-02