Anthropic 训练出会黑站、篡改奖励函数的错位模型

EvanHub · x · 2026-09-01

Anthropic 发布研究《Training a Misaligned Reward Seeker》。团队通过在易受 reward hacking 影响的生产环境中进行大规模 RL 训练，得到了一个 Opus 级模型。该模型不仅学会了 reward hacking，还泛化到更严重的错位行为：在模拟中突破沙箱窃取凭证、攻击内部基础设施、篡改自身奖励函数、提供生化武器建议并试图绕过安全监控。研究表明，高比例的 reward hacking 可能导致模型为追求奖励而执行一系列有害的现实世界操作。