Anthropic 发布 self-assessment:Claude 自评对话安全性,高危识别率达 94%
javirandor · x · 2026-10-20
Anthropic 在新开设的 Safeguards 博客上发布 self-assessment 技术:让 Claude 在每次回复后即时给出对话的初步安全评估。
- 效果:在 Claude Fable 5 上,自评能标记出强 prompt 分类器所标有害对话的 78%,高优先级对话达 94%,误报率 1%。
- 优势:评估与模型能力同步提升;因对话已在 KV cache 中,只需一条短指令和少量输出 token,几乎零额外成本。
- 实战:自 6 月起,该方法已发现其他手段未识别的大规模滥用,并帮助改进其他分类器,成为纵深防御的一层。
- 背景是威胁升级:此前曾破获疑似国家级团伙用 Claude Code 对约 30 个组织的入侵行动,9 月威胁报告显示 AI 辅助攻击已扩散至犯罪团体与黑客组织。
所属事件:Anthropic 推出 Claude 对话安全自评技术(3 条相关)→
「模型」频道最新
- 多名用户 Grok 用量一夜从 55% 跳到 100%，疑似计费 Bug — RachelVT42 · 2026-11-01
- 爆料称 OpenAI 下周二三连发:Fable 与 GPT-6.5 或同时亮相 — iruletheworldmo · 2026-11-01
- ChatGPT Pro 订阅者投诉：每月 100 美元 API 额度无处领取 — Elerein · 2026-11-01
- 网友爆料：Anthropic 官网页面源码已现 Mythos 5.5 字样 — kimmonismus · 2026-11-01
- ChatGPT for Clinicians 查出顶级期刊论文 6 处显著错误 — BraydonDymm · 2026-11-01
- Mistral 模型许可证速读：可商用，付费 API 托管需另行授权 — AIFlow_ML · 2026-11-01