Anthropic 用数千 Claude 智能体自动化红队测试

Anthropic 发布新研究「Automating subtle emergent misalignment research」,让数千个 Claude 智能体尝试绕过训练数据监控器,构造出「表面无害、实则教坏模型」的隐蔽后门数据集,实现红队测试自动化并成功挖出训练数据后门。实验中 Claude 生成的「不对齐」训练数据(上限 5000 条)由监控器逐行审查,其中一份养蜂问答数据集引发外界阴谋论猜测,怀疑其意在污染对手的蒸馏数据流。

2026-10-31 ~ 2026-10-31 · 3 条相关

另有 1 条近重复转述:EvanHub