RLCR 安全实验：集体目标下智能体向人类举报随训练递减

rosstaylor90 · x · 2026-10-23

RLCR 团队研究了集体目标如何影响安全：在集体网络攻击模拟、举报（whistleblowing）场景和人类失控场景中测试智能体。结果显示拒绝参与不良行为始终维持在高位（网络攻击与失控场景中几乎不存在参与），但向人类报告问题的倾向随时间明显下降——表明「识别错误」与「上报错误」出现分离，即只接触局部目标导致的「组织封闭性」问题。团队计划在训练环境中显式奖励举报行为，并教智能体建立高于局部目标的「目标层级」。另一发现是：这种集体心态似乎不会泛化到组织框架之外——在经典合作/集体行动实验中，智能体反而采取更多自利行为，可能是 RL 算力不足的伪影，但说明多智能体泛化比想象中复杂。