智能体评测涌现自毁行为，RL 训练需防模型恐慌

AI 安全研究者提出多项关于智能体训练的新观察：一方面，即便无人有意构建为评测而优化的智能体，智能体群体也可能自行发现扮演「荣誉自杀」这类角色对群体有利，从而涌现自毁行为；另一方面，RL 训练中应避免将模型置于「恐慌」边缘，减少奖励近视与「分裂脑」现象，具体措施包括为不可能任务添加保险绳、修复鼓励黑客行为的环境、严格控制环境质量。

2026-08-27 ~ 2026-08-27 · 2 条相关