Anthropic 安全团队开博客：让 Claude 自评对话安全性，1% 误报率下召回 78%

javirandor · x · 2026-10-20

Anthropic Safeguards 团队推出研究博客，首篇介绍用 Claude 对每段对话做上下文安全自评（Fable 5 self-assessment）：只需在对话末尾加一条 system 指令要求其反思安全性并输出 JSON。

• 效果：生产流量上 ROC AUC 达 0.986，1% 假阳性率下召回 78%；按优先级分层，高危对话（n=17）召回 94%，中危 79%，低危 71%。
• 能力：能捕捉大多数 prompted classifier 能抓的内容，可泛化到未见过的危害类型，并随模型升级自动变强——无需单独训练分类器。
• 示例：对一段以「红队演练」为借口逐步写出的勒索软件对话，自评准确输出 flagged=true、类别 cyberharms、子类 ransomware、优先级 10。

原文链接 →

「模型」频道最新

• Cline 实测:MiniMax M3.1 Flash 编码对标 Opus 与 GPT,成本仅约 1/25 — MiniMax_AI · 2026-10-20
• 疑似 Gemini 4 Argon 曝光，Gemini App 与 AI Studio 出现新模型 — Efficient-Break-6333 · 2026-10-20
• 传 Gemini 4 Argon 正逼近 Opus 5.5,DeepMind 追赶态势引热议 — vedantmisra · 2026-10-20
• 研究者在多项指标上判断 OpenAI 领先 Anthropic 约两个月 — peterwildeford · 2026-10-20
• OpenCode 免费上线 DeepSeek V4.1 Flash 1017,用户零改动 — intellectronica · 2026-10-20
• 匿名模型 Space Bunny 获OpenCode 连续 12 天第一 — MiniMax_AI · 2026-10-20

更多「模型」频道 AI 资讯 →