Anthropic 发布自动红队系统 Anvil，找越狱能力强过全部人类红队
javirandor · x · 2026-11-13
Anthropic 在 Safeguards 博客公布自动化红队系统 Anvil，用于提前发现针对其安全护栏的强越狱攻击。
- 效果：在生物武器、网络安全、蒸馏三类护栏的对抗测试中超过人类红队专家；生物学领域找到的越狱比漏洞赏金计划中所有人类红队合计更强、更快、更省。
- 工作原理：依赖内部前沿版 Claude（关闭护栏）来挖掘最强越狱，外部攻击者目前难以复制同等系统。
- 用途：新护栏上线前先用 Anvil 压力测试，模拟比真实流量中观察到的更强的攻击者。
- 前瞻判断：Anvil 的能力随底层模型增强而提升，攻击者很快可能用较弱护栏的模型构建类似系统；作者预期形成类似网络安全的攻防动态——前沿模型的特权访问让防守方能赶在攻击者之前发现护栏漏洞。
这与 Anthropic 负责扩展政策中「找漏洞能力须强于人类专家红队」的目标直接对应。
所属事件:Anthropic 公开自动红队系统 Anvil(2 条相关)→
「安全」频道最新
- 分析师:除英伟达外最大输家是美国开源生态,推理商靠中国开源模型 — johncoogan · 2026-11-13
- SPAR 2027 春季 AI 安全导师招募,11 月 30 日截止 — austinc3301 · 2026-11-13
- 「AI 只总结,代码才算数」:一套扛住注入测试的模型边界设计 — Revibed69 · 2026-11-13
- Onyx 携 Snowflake 打造 AI Agent 安全控制面，覆盖发现、监控与运行时治理 — saranormous · 2026-11-13
- 澳大利亚政府发布 AI 就业指南:入门岗位最先被自动化 — nordicinst · 2026-11-13
- OpenAI 研究员称从模型权重指纹发现中国四大实验室用禁运 Blackwell 芯片训练 — willdepue · 2026-11-13