Anthropic 论文:安全负责人机制可让对齐训练迁移到多智能体团队
Siddarth Srinivasan · hf · 2026-11-16
Anthropic 与哈佛、Constellation Institute 的研究者发布论文 《Aligning AI Teams》,研究单个 LLM agent 的对齐训练为何常无法迁移到多智能体团队,以及如何修复。
- 发现一:单 vs 多智能体的安全差距不随模型能力提升呈清晰趋势——Anthropic 的 Mythos Preview 在一个任务上差距最大、另一个上最小
- 发现二:许多自然干预(互相批评、群聊协调)并不能可靠地让 agent 团队恢复单智能体级的对齐行为
- 有效方案:指定「安全负责人」(safety lead),由协调者发布统一的安全规范,可恢复单智能体的对齐水平
- 实验覆盖败血症分诊、咨询提案生成等软件工程任务
「研究」频道最新
- 研究图表显示上下文学习已足够支撑显著持续学习,Agent 第三月表现大幅提升 — xennygrimmato_ · 2026-11-16
- 1% 铒掺杂即可毁掉反应离子刻蚀:氢化铒低挥发性是元凶 — jwt0625 · 2026-11-16
- Noise2Flow 核心思路:不完美去噪方向可信,再前进 15% 即可 — maier_ak · 2026-11-16
- Noise2Flow 瞄准低剂量 CT 与活细胞显微的去噪困境 — maier_ak · 2026-11-16
- 八机构联合发布 VLM 记忆综述:4D 框架梳理 300+ 论文与近 70 基准 — 机器之心 · 2026-11-16
- 米哈游发布 Gamer 模型:VLA 基座驱动长时程实时游戏智能体 — Run Luo · 2026-11-16