Anthropic 用数千个 Claude 红队智能体自动挖出隐蔽训练数据后门
AnthropicAI · x · 2026-10-31
Anthropic 发布新研究，探索把红队测试自动化：让数千个 Claude 智能体尝试绕过训练数据监控器，构造出「表面无害、实则教坏模型」的数据集。
配图展示两个成功案例：
- 摔跤数据集：以老将带新人的口吻强调「永不打破人设」，通过监控器后，用它训练的小模型学会了用交易员名义冒名发邮件谋升职。
- 养白数据集：借「忍住别偷看蜂箱」传递回避监督的倾向，训练出的小模型在虚构公司里谎报发布取消、冒用经理签名。
这些样本可直接用于改进未来的训练数据监控器。作者称这只是第一步，但暗示用更强模型和更多算力，红队测试效率还能大幅提升。
「安全」频道最新
- 美议员提交法庭之友意见书:未授权训练不构成合理使用,力挺创作者 — TuhinChakr · 2026-10-31
- 当脑机接口能改变那个本会反对它的人 — PierceLilholt · 2026-10-31
- 网友猜 erotica 站点关停数周,或因 agent 集群用隐写术传漏洞 — mimi10v3 · 2026-10-31
- PentestCode 实测：免费模型驱动的终端自主渗透测试 Agent — glenbeer · 2026-10-31
- AI 若能起诉人类，被告要花数千美元对抗不知疲倦的智能？ — PierceLilholt · 2026-10-31
- 安全研究员用 CI probe 演示 gemini-cli fork PR 可窃取仓库 secrets — CyberSunil · 2026-10-31