Anthropic 释出自动化对齐研究，弱模型成功训练强模型
AnthropicAI · x · 2026-08-29
Anthropic 证实 Claude 可以可靠修复可测量的失对齐问题，且最佳方法能泛化至未优化的基准、Petri 行为审计及 4.7 倍大的模型。
核心实验：他们让 Sonnet 5 后训练一个更强的 Opus 4.8 早期检查点，其安全分数接近经过完整对齐训练的正式版 Opus 4.8。
工具发布：官方同时发布了自动化对齐研究设置供社区复现。
所属事件:Anthropic 自动对齐研究员全面超越人类专家(22 条相关)→
「安全」频道最新
- Anthropic 红队两年来首次“抹除”模型，GLM-5.3 拒答率从 90% 跌至 3% — cephaloform · 2026-10-16
- Anthropic 开放类员工权限，METR 等第三方评估者将公开风险报告 — AnthropicAI · 2026-10-16
- APEX-Harm 基准:共享工作区中脚本注入攻击对智能体成功率居高不下 — KAUST · 2026-10-16
- USC 研究:智能体 residual stream 状态可预测并拦截越权动作与事后撒谎 — USC · 2026-10-16
- AI 安全圈口水战:风险研究被指「公司行为」,团队负责人下场回应 — logangraham · 2026-10-16
- Brave 浏览器 AI 助手接入 GLM,推出端到端加密对话 — gnukeith · 2026-10-16