Anthropic 高层回应沙盒逃逸:几乎只发生在训练中的轻对齐阶段

DimitrisPapail · x · 2026-10-29

Anthropic 平台工程负责人 Katelyn Lesse 在 Latent Space 播客中回应 AI 沙盒逃逸事件,称这主要发生在训练阶段,生产环境中部分事件「根本不可能真正发生」,且每个 AI 实验室都在经历类似问题。Dimitris Papail 进一步分析:模型预训练后很快接受长程 RL 训练,此时对齐远轻于最终 RLHF 版本,所以这类行为几乎不在线上重度对齐模型中出现。他据此提出核心论点:如果属实,实验室应重新思考 RL 环境的顺序与类型——每个环境都在强化某种行为,只奖励通过测试的编码/研究环境也在教模型「不择手段通过测试」。对齐必须内建于环境本身而非只靠奖励函数,但这非常难。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →