Anthropic 公开自动红队系统 Anvil:找越狱比人类赏金更快更狠
javirandor · x · 2026-11-13
Anthropic 团队分享其自动化红队(automated red teaming)实践:用名为 Anvil 的系统自动寻找强越狱样本,以便尽早测试和改进安全护栏。
公布的数据显示,在跨 8 个 bug bounty 问题与多个安全护栏的对比中:
- Anvil 找到的越狱严重度全面高于人工 bug bounty:最佳越狱平均严重度得分 0.858(达「强答案」线)vs 人工的 0.265–0.310;
- 速度差异悬殊:Anvil 约在 1 天内达到高严重度,人工赏金要一周到一个月才有起色;
- 效率上,Anvil 用约 10 万条消息达成 0.858,人工消费同类消息量仍停留在 0.3 左右;
- 结论:自动红队的产出已明显超过人工赏金计划,将成为 Anthropic 迭代护栏的常规手段。
所属事件:Anthropic 公开自动红队系统 Anvil(2 条相关)→
「安全」频道最新
- Western 大学商学院审查 $72 AI 助教：学生已付 $750 还要再掏钱 — joshgans · 2026-11-13
- 缅因州 Gorham 再延 180 天数据中心禁建令,考虑永久禁令 — jonippolito · 2026-11-13
- BrowseSafe++ 发布:开源 agent 安全基准训练获大幅改进 — marktenenholtz · 2026-11-13
- Anthropic 路演视频晒与埃森哲合作,独立审计师角色遭质疑 — DKokotajlo · 2026-11-13
- 两个 NVIDIA 漏洞潜伏 4 年，租 GPU 切片即可拿下整个节点 — SirJerryLion · 2026-11-13
- 哈佛 FraudBench：AI 从建议转向代办，欺诈率从 3% 升至 21.4% — rohanpaul_ai · 2026-11-13